crawl4ai：专门给 AI Agent 喂数据的开源爬虫

一句话

给 RAG 和 AI Agent 做知识库，最烦的就是「网页抓下来还得二次清洗」。crawl4ai 直接输出干净的、LLM 可直接消费的 Markdown，基于 Playwright 真实浏览器渲染，JS 重站也能抓，自托管永久免费。

亮点

• 输出即成品：Markdown 结构干净，省掉清洗流水线
• 真浏览器：动态渲染页面不在话下
• 对比 Firecrawl 这类按量收费的 SaaS，自己搭就是 0 边际成本
• 85,000+ star，GitHub 上 star 最高的爬虫项目，生态和文档都成熟

部署前必读

pip 装完还要跑 crawl4ai-setup 装浏览器，体积大、第一次慢，要有心理准备。批量任务注意两个已知 issue：scroll_full_page 可能只解析最后加载的元素；多线程下同一 PDF 每次转出的 markdown 可能不一致，保守参数更稳妥。MacOS Docker 版有内存泄漏致容器随机崩溃的报告，长期跑批建议监控内存。最后是合规：反爬强的站要自己配代理，README 只给技术能力，遵守目标站 ToS 和 robots 是你自己的责任。

站长点评

RAG 这两年把「干净数据」变成了硬通货，crawl4ai 踩准了这个点。它聪明在不跟 Scrapy 拼通用性，而是死磕「LLM 消费」这一个场景——输出格式就是它的护城河。做知识库、做 Agent 工具链的，这就是现在的第一顺位选择，前提是把合规这根弦绷紧。

项目地址：https://github.com/unclecode/crawl4ai