首页 / GitHub 趋势 / newspaper3k:…
数据与爬虫

newspaper3k:给一个网址,返回干净的文章正文

GitHub 仓库
codelucas/newspaper
总 Stars
★ 15,180
主要语言
Python
查看 GitHub 项目

一句话

newspaper3k 是 Python 的新闻与文章元数据抽取库:给一个网址,返回正文、标题、作者、发布时间,不用自己写解析规则。GitHub 总 star 1.5 万(2026-10-27 核验,Python、MIT 协议,最近提交 2026-10-26)。编辑精选,非当日榜单。

是什么

做舆情、做内容聚合时最烦的环节就是“从网页里抠正文”:广告、导航、推荐位全混在一起。newspaper3k 专门干这个:自动识别正文区,顺带抽作者、摘要、关键词。

能干嘛

  • 批量抽新闻正文做分析与归档
  • 做内容聚合、舆情监测的前置抽取层
  • 配合爬虫框架,把“抓页面”与“抽正文”分开

适合谁

  • 做新闻数据分析的研究者与开发者
  • 搭内容聚合、舆情工具的人
  • 不想为每个站点手写解析规则的人

注意点

抽取效果因站点而异:结构规整的新闻站效果好,反爬严、结构怪的站要人工兜底。注意它抽的是公开文章正文,版权与 robots 约束要自己遵守,别拿它批量搬运他人文章。

问:newspaper3k 和 readability 有什么区别?

readability(本站已发)是“抽正文”这一个动作,newspaper3k 是“下载 + 抽正文 + 抽元数据”一整套。只做浏览器阅读模式,readability 够了;做批量文章处理,newspaper3k 更顺。

站长点评

我选它是因为“抽正文”是个被低估的脏活:看着简单,真自己写解析规则才知道多磨人。先拿它跑通 20 篇目标站点的样本,准确率达标再扩大规模。

项目地址:https://github.com/codelucas/newspaper

⬇ 下载区(本站中转)

本站服务器实时中转 GitHub 文件,国内网络也可稳定下载;也可使用右侧官方链接。 本项目遵循 MIT 许可证。

📦 源码包(默认分支 ZIP)本站下载官方下载

要下载其他 GitHub 项目?试试本站的 GitHub 加速下载工具,粘贴链接即可中转。

数据与爬虫 热度最高

相关推荐