首页 / GitHub 趋势 / 开源项目 Spatie …
数据与爬虫

开源项目 Spatie Crawler:PHP 里顺手的爬虫长什么样?

spatie/crawler

GitHub 仓库
spatie/crawler
总 Stars
★ 2,827
主要语言
PHP
查看 GitHub 项目

Spatie Crawler 是 PHP 生态里顺手的爬虫库,星标 2827 颗,MIT 开源,11 月 5 日有更新。十几行代码就能跑起一个带并发、去重的爬虫。

是什么

基于 Guzzle 的 PHP 爬虫框架,内置链接发现、去重、并发控制和失败重试,爬取逻辑用观察者模式接,写起来很干净。

能干嘛

爬整站页面、做站点地图、定时巡检链接有效性;配合数据库能搭小型的站内搜索索引,或者监控竞品页面的价格变化。

谁用得上

用 PHP 的开发者,特别是已有 Laravel 项目、想顺手加个爬取功能的人。不用换语言,现有项目里就能接上。

用之前先知道

它只管抓取,不管解析,页面内容要自己接 DOM 解析器处理;并发开太高容易被目标站封,记得设合理的延迟并遵守 robots 协议。

Spatie Crawler 和 Python 爬虫比怎么样?

抓取能力不输,差别在生态:Python 那边解析、反爬工具更多。已经在 PHP 栈里就别折腾换语言,跨语言项目再考虑 Scrapy 那套。

站长点评:我选它是因为 PHP 爬虫里它最省心——文档清楚、维护没断。提醒一句:别指望它包办解析,抓取加解析是两件事,搭的时候留好解析那层的接口。

⬇ 下载区(本站中转)

本站服务器实时中转 GitHub 文件,国内网络也可稳定下载;也可使用右侧官方链接。 本项目遵循 MIT 许可证。

📦 源码包(默认分支 ZIP)本站下载官方下载

要下载其他 GitHub 项目?试试本站的 GitHub 加速下载工具,粘贴链接即可中转。

数据与爬虫 热度最高

相关推荐