首页 / GitHub 趋势 / 爬虫怎么多机分布式跑?开…
数据与爬虫

爬虫怎么多机分布式跑?开源项目 scrapy-redis:给 Scrapy 接上 Redis

GitHub 仓库
rmax/scrapy-redis
总 Stars
★ 5,649
主要语言
Python
查看 GitHub 项目

Scrapy 想多机分布式跑,scrapy-redis 是标准的开源接法:5600 多 star,10 月 29 日刚更新,给 Scrapy 接上 Redis 做队列。

是什么:给 Scrapy 加 Redis 组件的库,待抓队列、去重指纹都放 Redis,多台机器能同时跑同一个爬虫。

能干嘛:分布式抓取、断点续爬、共享队列,量大了不用改逻辑就能扩机器。

适合谁:单机 Scrapy 跑不动、要上多台机器分摊抓取量的人。

注意点:得先跑一个 Redis 服务;多个爬虫共用时记得分 key,不然去重指纹会串。

和单机 Scrapy 差在哪?

单机队列存在内存里,停了就丢;scrapy-redis 把队列放 Redis,机器挂了任务还在,还能多机分工。量上来了再接它。

站长点评:我选它是因为它是 Scrapy 分布式标配,5600 star、10 月刚更新;站里 Scrapy 本体早有了,补上它才算完整。

⬇ 下载区(本站中转)

本站服务器实时中转 GitHub 文件,国内网络也可稳定下载;也可使用右侧官方链接。 本项目遵循 MIT 许可证。

📦 源码包(默认分支 ZIP)本站下载官方下载

要下载其他 GitHub 项目?试试本站的 GitHub 加速下载工具,粘贴链接即可中转。

数据与爬虫 新星挖掘

相关推荐