- GitHub 仓库
- apache/stormcrawler
- 总 Stars
- ★ 1,015
- 主要语言
- Java
结论先说：Apache StormCrawler 是 Apache 旗下的分布式爬虫框架，1,015 星，Apache-2.0 协议，Java 编写，2013 年建库，2026 年 11 月 11 日还有提交。基于 Apache Storm，能扛住亿级网页的大规模爬取。
它是什么：一个为分布式爬取设计的框架，抓取、解析、去重、存储拆成可扩展的流水线，规模可以横向加机器扩上去。
能干嘛：建自己的搜索引擎索引、做大规模数据采集、定时全网巡检。
适合谁：要做大规模采集的团队、建垂直搜索的开发者、数据量上亿的爬虫项目。
注意点：它是重型方案，小项目用它属于杀鸡用牛刀；部署要搭 Storm 集群，运维成本不低，先算清人力再动手。
StormCrawler 和 Scrapy 有什么区别？
Scrapy 适合单机中小规模，StormCrawler 是为分布式大规模爬取设计的，架构和部署复杂度完全不是一个量级。日抓百万级以下用 Scrapy 就够了，过了这个量级再看 StormCrawler。
站长点评：我挑它是因为大规模爬取这个方向站里一直缺一篇重型方案。1,015 星看着不高，但它是 Apache 顶级项目，2013 年建库、2026 年 11 月 11 日还在提交，权威性够。我的建议是先确认量级真的需要分布式。
⬇ 下载区（本站中转）
本站服务器实时中转 GitHub 文件，国内网络也可稳定下载；也可使用右侧官方链接。
📦 源码包（默认分支 ZIP）官方下载
项目信息暂时获取不到，本站下载稍后再试；可先用官方链接。
要下载其他 GitHub 项目？试试本站的 GitHub 加速下载工具，粘贴链接即可中转。