- GitHub 仓库
- spatie/crawler
- 总 Stars
- ★ 2,827
- 主要语言
- PHP
Spatie Crawler 是 PHP 生态里顺手的爬虫库,星标 2827 颗,MIT 开源,11 月 5 日有更新。十几行代码就能跑起一个带并发、去重的爬虫。
是什么
基于 Guzzle 的 PHP 爬虫框架,内置链接发现、去重、并发控制和失败重试,爬取逻辑用观察者模式接,写起来很干净。
能干嘛
爬整站页面、做站点地图、定时巡检链接有效性;配合数据库能搭小型的站内搜索索引,或者监控竞品页面的价格变化。
谁用得上
用 PHP 的开发者,特别是已有 Laravel 项目、想顺手加个爬取功能的人。不用换语言,现有项目里就能接上。
用之前先知道
它只管抓取,不管解析,页面内容要自己接 DOM 解析器处理;并发开太高容易被目标站封,记得设合理的延迟并遵守 robots 协议。
Spatie Crawler 和 Python 爬虫比怎么样?
抓取能力不输,差别在生态:Python 那边解析、反爬工具更多。已经在 PHP 栈里就别折腾换语言,跨语言项目再考虑 Scrapy 那套。
站长点评:我选它是因为 PHP 爬虫里它最省心——文档清楚、维护没断。提醒一句:别指望它包办解析,抓取加解析是两件事,搭的时候留好解析那层的接口。
⬇ 下载区(本站中转)
本站服务器实时中转 GitHub 文件,国内网络也可稳定下载;也可使用右侧官方链接。 本项目遵循 MIT 许可证。
要下载其他 GitHub 项目?试试本站的 GitHub 加速下载工具,粘贴链接即可中转。
