首页 / GitHub 趋势 / 网页里的结构化数据怎么取…
数据与爬虫

网页里的结构化数据怎么取?extruct 一行代码抽出 JSON-LD 与微数据

scrapinghub/extruct

GitHub 仓库
scrapinghub/extruct
总 Stars
★ 980
主要语言
Python
查看 GitHub 项目

结论先说:extruct 是 Python 写的结构化数据抽取库,980 个 star,BSD 协议,2026 年 10 月 15 日刚有提交。输入一段 HTML,它把页面里埋的数据一次全取出来:JSON-LD、Microdata、RDFa、Microformats,不用自己写一堆选择器。

做竞品价格监控、文章聚合、SEO 审计时,先拿它把商品、文章、评分这些信息结构化;也能接在 Scrapy 后面当解析环节。装上 cli 扩展后还能直接对网址跑,命令行里就能出结果。

它和 BeautifulSoup 有什么区别?

BeautifulSoup 是通用解析器,标签怎么拆全靠你写;extruct 只干一件事,按 W3C 那几套标准把已经结构化的数据捞出来。页面本身没埋结构化数据,它就无能为力,这时还是得上选择器或 trafilatura 这类正文抽取工具。

适合做数据采集、SEO 工具、价格比对的人,需要 Python 3.8 以上。注意:最新版 0.18.0 是 2024 年 11 月的;依赖 lxml、rdflib 等一串库,装的时候留意版本冲突;它不处理登录与反爬,别拿它去碰登录后的页面。

站长点评:我挑它是因为站里爬虫类多半是整站抓,缺一个只取结构化数据的轻量件。980 个 star 不算多,但它是 Scrapy 同门出品,定位干净,用在解析环节刚刚好,别指望它单打独斗扛起整个采集流程。

⬇ 下载区(本站中转)

本站服务器实时中转 GitHub 文件,国内网络也可稳定下载;也可使用右侧官方链接。 本项目遵循 BSD-3-Clause 许可证。

📦 源码包(默认分支 ZIP)本站下载官方下载

要下载其他 GitHub 项目?试试本站的 GitHub 加速下载工具,粘贴链接即可中转。

数据与爬虫

相关推荐