Java 爬虫框架怎么选？WebMagic：1.2 万星的国产爬虫框架

GitHub 仓库

code4craft/webmagic

总 Stars

★ 11,667

主要语言

Java

查看 GitHub 项目

结论先说：WebMagic 是国产 Java 爬虫框架，1.2 万星，Apache-2.0 协议，Java 编写，2013 年建库。组件化设计，页面下载、解析、存储都能拆开换，Java 团队写爬虫的老牌选择。

它是什么：一个 Java 爬虫框架，核心是四个组件：下载器、页面处理、调度器、持久化。按需组合，小爬虫几十行就能跑起来。

能干嘛：写定向采集、定时抓取、数据入库；配合代理和去重组件，能应付中等规模的采集任务。

适合谁：Java 团队的开发者、要写定向采集的后端同学、学 Java 爬虫的入门者。

注意点：最近一次推送在 2025 年 12 月，项目进入稳定期，新功能别指望太多；爬虫要遵守目标站规则，robots 和访问频率要先看清。

WebMagic 和 Scrapy 有什么区别？

一个是 Java 生态，一个是 Python 生态。团队用 Java 就选 WebMagic，用 Python 就选 Scrapy，功能思路是相通的。站里之前发过 Scrapy，这篇是给 Java 团队补一个选择。

站长点评：我挑它是因为 Java 团队问爬虫框架的不少，WebMagic 是绕不开的名字。1.2 万星、2013 年建库，文档和中文资料都全。提醒一句：它最近一次推送在 2025 年 12 月，图的是稳，不是新。