- GitHub 仓库
- lumpinif/deepcrawl
- 总 Stars
- ★ 703
- 主要语言
- TypeScript
DeepCrawl 是能自己部署的 Firecrawl 开源平替,星标 703 颗,MIT 开源,8 月 24 日有更新,主打跑在边缘平台上。
是什么
把网页抓成干净 Markdown 的服务,支持部署到 Cloudflare 或 Vercel,链接提取做了专门优化。
能干嘛
给 AI 应用批量供料、把网页转成模型能读的文本、搭自己的抓取接口,不用按量给第三方付费。
适合谁
做 AI 应用、RAG 的开发者,或者抓取量不大、想把服务捏在自己手里的人。
注意点
边缘部署不是零成本,抓取量大了要看平台的免费额度;反爬强的站点照样可能抓不到。
DeepCrawl 和 Firecrawl 怎么选?
Firecrawl 是托管服务,开箱即用但按量收费;DeepCrawl 要自己部署,胜在免费、数据在自己手里。量小、想省钱,选 DeepCrawl。
站长点评:RAG 类应用最怕的就是网页转文本这一步又脏又贵,DeepCrawl 把它做成可自托管的服务,方向是对的。就是项目还年轻,部署前先看一遍文档里的限制。
懒得一步步折腾?这几个工具本站有现成部署包
站长把 n8n、Immich、Stirling-PDF 的部署过程打包好了:docker-compose、一键脚本、中文说明一应俱全,下载解压就能跑,单包 9.9 元、三包合集 19.9 元。
⬇ 下载区(本站中转)
本站服务器实时中转 GitHub 文件,国内网络也可稳定下载;也可使用右侧官方链接。 本项目遵循 MIT 许可证。
要下载其他 GitHub 项目?试试本站的 GitHub 加速下载工具,粘贴链接即可中转。
