apache/nutch：Apache 基金会的企业级网络爬虫

GitHub 仓库

apache/nutch

总 Stars

★ 3,300

主要语言

Java

查看 GitHub 项目

要论爬虫的“学院派”，Apache Nutch 排得上号：3300 star，Java 编写，Apache-2.0 协议，可扩展、可伸缩的企业级网络爬虫。本站核验最近 push 为 10 月 18 日，Apache 项目一贯的稳健节奏。

是什么

Apache 基金会的顶级项目之一：高度可扩展的网络爬虫框架，支持分布式抓取，常和 Hadoop/Solr/Elasticsearch 搭配做垂直搜索引擎。

能干嘛

大规模网页抓取、搭垂直搜索（比如只搜某行业的网站）、企业级数据采集流水线。

适合谁

做搜索引擎相关开发的人、需要大规模合规抓取的企业团队、研究网络爬虫架构的学生。

注意点

学习曲线陡峭，配置项多，新手建议先跑通官方 tutorial 再动手改；它是框架不是开箱即用的工具，期望值要摆正。抓取务必合规，遵守 robots 协议和法律法规。

常见问题：Nutch 和 Scrapy 怎么选？

Scrapy 是 Python 生态的灵活派，适合快速开发；Nutch 是 Java 生态的工程派，适合大规模、长期跑的采集系统。看团队技术栈和规模选。

站长点评

3300 star 在 Apache 系里不算高，但 Nutch 的历史地位摆在那——很多商业爬虫的思想源头。数据类目补强的最后一块拼图，收齐了从框架（Scrapy 系）到企业级（Nutch）再到工具（Puppeteer/Selenium）的完整地图。

项目地址：https://github.com/apache/nutch