- GitHub 仓库
- postmodern/spidr
- 总 Stars
- ★ 835
- 主要语言
- Ruby
Spidr 是 Ruby 的轻量爬虫库,星标 835 颗,MIT 开源,2026 年 1 月有更新,2009 年就发布了,老而稳。
是什么
专做“爬取”这件事的库:按域名、链接规则、层级深度抓页面,速度不慢,用法简单。
能干嘛
给站点做链接检查、批量抓列表页、写小规模采集脚本,配合解析库就能成套用。
适合谁
写 Ruby 又要临时抓点数据的开发者,或者给已有 Ruby 项目补一个爬取模块的人。
注意点
它只负责爬取,解析页面要另外配合解析库;大站高并发抓取不是它的强项。
Spidr 和 Mechanize 怎么选?
Mechanize 偏向模拟浏览器填表单、点按钮,Spidr 偏向按规则批量爬链接。只想把一堆页面抓下来,Spidr 更直接。
站长点评:Ruby 生态的爬虫选择不多,Spidr 这种只做一件事的小库反而耐用。星标不高,但十年以上的项目,坑基本都被踩完了。
⬇ 下载区(本站中转)
本站服务器实时中转 GitHub 文件,国内网络也可稳定下载;也可使用右侧官方链接。
📦 源码包(默认分支 ZIP)官方下载
项目信息暂时获取不到,本站下载稍后再试;可先用官方链接。
要下载其他 GitHub 项目?试试本站的 GitHub 加速下载工具,粘贴链接即可中转。
