- GitHub 仓库
- alirezamika/autoscraper
- 总 Stars
- ★ 8,059
- 主要语言
- Python
结论先行:写爬虫最烦的就是调 XPath/CSS 选择器:alirezamika/autoscraper 换了个思路——给它一个示例页面,它自动学会抓取规则。8059 star,Python 编写,MIT 协议。本站核验最近 push 为 7 月 29 日。
是什么
智能、自动、快速、轻量的 Python 网页抓取器:你标注一次想要的内容,它自动推导出抓取规则,之后同类页面批量抓,不用手写选择器。
能干嘛
快速抓取结构化列表页(商品、文章、房源)、做数据采集原型验证、批量抓取格式统一的页面。
适合谁
不想折腾选择器的新手、要快速验证采集想法的人、页面结构简单规范的采集任务。
注意点
自动学习对结构复杂、反爬强的页面效果会打折扣,这种场景还是得上 Scrapy/Puppeteer 手写规则;7 月底的 push 说明维护节奏不快,但核心功能稳定可用。提醒:抓取遵守目标站点规则和法律法规。
常见问题:和手写 Scrapy 爬虫怎么选?
页面规整、要得快,用 autoscraper,几分钟出结果;页面复杂、要长期稳定跑,用 Scrapy。很多人的 workflow 是先用 autoscraper 验证想法,跑通了再用 Scrapy 重写。
站长点评
“自动学习选择器”这个点子很对新手胃口,8059 star 证明它确实解决了真痛点。数据类目今天 4 个名额(puppeteer、autoscraper、Gerapy、nutch),从工具到框架到企业级全齐了,收官。
项目地址:https://github.com/alirezamika/autoscraper
⬇ 下载区(本站中转)
本站服务器实时中转 GitHub 文件,国内网络也可稳定下载;也可使用右侧官方链接。 本项目遵循 MIT 许可证。
要下载其他 GitHub 项目?试试本站的 GitHub 加速下载工具,粘贴链接即可中转。
