首页 / GitHub 趋势 / 开源项目 Spidr:R…
数据与爬虫

开源项目 Spidr:Ruby 爬虫的轻量蜘蛛库

postmodern/spidr

GitHub 仓库
postmodern/spidr
总 Stars
★ 835
主要语言
Ruby
查看 GitHub 项目

Spidr 是 Ruby 的轻量爬虫库,星标 835 颗,MIT 开源,2026 年 1 月有更新,2009 年就发布了,老而稳。

是什么

专做“爬取”这件事的库:按域名、链接规则、层级深度抓页面,速度不慢,用法简单。

能干嘛

给站点做链接检查、批量抓列表页、写小规模采集脚本,配合解析库就能成套用。

适合谁

写 Ruby 又要临时抓点数据的开发者,或者给已有 Ruby 项目补一个爬取模块的人。

注意点

它只负责爬取,解析页面要另外配合解析库;大站高并发抓取不是它的强项。

Spidr 和 Mechanize 怎么选?

Mechanize 偏向模拟浏览器填表单、点按钮,Spidr 偏向按规则批量爬链接。只想把一堆页面抓下来,Spidr 更直接。

站长点评:Ruby 生态的爬虫选择不多,Spidr 这种只做一件事的小库反而耐用。星标不高,但十年以上的项目,坑基本都被踩完了。

⬇ 下载区(本站中转)

本站服务器实时中转 GitHub 文件,国内网络也可稳定下载;也可使用右侧官方链接。

📦 源码包(默认分支 ZIP)官方下载

项目信息暂时获取不到,本站下载稍后再试;可先用官方链接。

要下载其他 GitHub 项目?试试本站的 GitHub 加速下载工具,粘贴链接即可中转。

数据与爬虫 新星挖掘

相关推荐