- GitHub 仓库
- codelucas/newspaper
- 总 Stars
- ★ 15,180
- 主要语言
- Python
一句话
newspaper3k 是 Python 的新闻与文章元数据抽取库:给一个网址,返回正文、标题、作者、发布时间,不用自己写解析规则。GitHub 总 star 1.5 万(2026-10-27 核验,Python、MIT 协议,最近提交 2026-10-26)。编辑精选,非当日榜单。
是什么
做舆情、做内容聚合时最烦的环节就是“从网页里抠正文”:广告、导航、推荐位全混在一起。newspaper3k 专门干这个:自动识别正文区,顺带抽作者、摘要、关键词。
能干嘛
- 批量抽新闻正文做分析与归档
- 做内容聚合、舆情监测的前置抽取层
- 配合爬虫框架,把“抓页面”与“抽正文”分开
适合谁
- 做新闻数据分析的研究者与开发者
- 搭内容聚合、舆情工具的人
- 不想为每个站点手写解析规则的人
注意点
抽取效果因站点而异:结构规整的新闻站效果好,反爬严、结构怪的站要人工兜底。注意它抽的是公开文章正文,版权与 robots 约束要自己遵守,别拿它批量搬运他人文章。
问:newspaper3k 和 readability 有什么区别?
readability(本站已发)是“抽正文”这一个动作,newspaper3k 是“下载 + 抽正文 + 抽元数据”一整套。只做浏览器阅读模式,readability 够了;做批量文章处理,newspaper3k 更顺。
站长点评
我选它是因为“抽正文”是个被低估的脏活:看着简单,真自己写解析规则才知道多磨人。先拿它跑通 20 篇目标站点的样本,准确率达标再扩大规模。
项目地址:https://github.com/codelucas/newspaper
⬇ 下载区(本站中转)
本站服务器实时中转 GitHub 文件,国内网络也可稳定下载;也可使用右侧官方链接。 本项目遵循 MIT 许可证。
要下载其他 GitHub 项目?试试本站的 GitHub 加速下载工具,粘贴链接即可中转。