- GitHub 仓库
- Gerapy/Gerapy
- 总 Stars
- ★ 3,515
- 主要语言
- Python
结论先行：Scrapy 写爬虫不难，难的是管一堆爬虫：Gerapy 是国人开发的分布式爬虫管理框架，3515 star，Python 编写，MIT 协议，给 Scrapy 配上了可视化的管理和调度台。
是什么
基于 Scrapy + Scrapyd + Django + Vue 的分布式爬虫管理框架：爬虫的编写、部署、定时调度、运行监控、日志查看，全在网页后台里搞定。
能干嘛
管几十上百个爬虫项目：可视化部署、定时任务、查看运行状态，不用再 SSH 上去手动起进程。
适合谁
用 Scrapy 做数据采集的团队、爬虫数量多到管不过来的人、中文文档友好度要求高的人（国人项目，文档是中文的）。
注意点
最近 push 是 7 月 4 日，更新节奏不快，但爬虫管理框架本身变化就不大；部署前先看文档的架构说明，理解 Scrapyd 节点怎么加。同类对比：crawlab 也是同类方案但 8 个月没更新了，Gerapy 目前是更稳的选择。提醒：爬虫务必遵守目标站点规则和法律法规。
常见问题：小项目有必要上 Gerapy 吗？
三五个爬虫没必要，crontab 够了。爬虫上了两位数、要定时、要看日志，Gerapy 的价值就出来了。
站长点评
数据与爬虫是今天重点补的类目（之前只有 39 篇），Gerapy 这种“中文友好+解决真痛点”的项目必须收。Scrapy 用户建议收藏，早晚用得上。
项目地址：https://github.com/Gerapy/Gerapy
⬇ 下载区（本站中转）
本站服务器实时中转 GitHub 文件，国内网络也可稳定下载；也可使用右侧官方链接。 本项目遵循 MIT 许可证。
要下载其他 GitHub 项目？试试本站的 GitHub 加速下载工具，粘贴链接即可中转。