- GitHub 仓库
- rmax/scrapy-redis
- 总 Stars
- ★ 5,649
- 主要语言
- Python
Scrapy 想多机分布式跑,scrapy-redis 是标准的开源接法:5600 多 star,10 月 29 日刚更新,给 Scrapy 接上 Redis 做队列。
是什么:给 Scrapy 加 Redis 组件的库,待抓队列、去重指纹都放 Redis,多台机器能同时跑同一个爬虫。
能干嘛:分布式抓取、断点续爬、共享队列,量大了不用改逻辑就能扩机器。
适合谁:单机 Scrapy 跑不动、要上多台机器分摊抓取量的人。
注意点:得先跑一个 Redis 服务;多个爬虫共用时记得分 key,不然去重指纹会串。
和单机 Scrapy 差在哪?
单机队列存在内存里,停了就丢;scrapy-redis 把队列放 Redis,机器挂了任务还在,还能多机分工。量上来了再接它。
站长点评:我选它是因为它是 Scrapy 分布式标配,5600 star、10 月刚更新;站里 Scrapy 本体早有了,补上它才算完整。
⬇ 下载区(本站中转)
本站服务器实时中转 GitHub 文件,国内网络也可稳定下载;也可使用右侧官方链接。 本项目遵循 MIT 许可证。
要下载其他 GitHub 项目?试试本站的 GitHub 加速下载工具,粘贴链接即可中转。