爬虫老将 Scrapy：6.4 万 star 的 Python 采集框架，十几年凭什么不倒

GitHub 仓库

scrapy/scrapy

总 Stars

★ 64,837

主要语言

Python

查看 GitHub 项目

编辑精选常青项目，非当日热榜。

是什么

Python 生态资历最老的爬虫框架之一，异步引擎、中间件、数据管道一应俱全，BSD-3-Clause 许可，主语言 Python，至今保持活跃更新。

能干嘛

几十行代码跑起带去重、限速、重试、代理轮换的爬虫；配合 pipelines 写库或导出 CSV/JSON；数据量大了可分布式多机协同抓取。

适合谁

需要长期稳定采集结构化数据的开发者和数据团队；做价格监控、舆情跟踪、学术数据抓取都合适。

值得注意

框架默认遵守 robots.txt，商用采集前务必确认合规；并发开太高容易被目标站封 IP，从低并发起步慢慢加；纯 JS 渲染页面原生搞不定，需搭配 scrapy-playwright 这类插件。

站长点评

我看重的是文档把坑都写明白了，新手照官方教程走一遍基本不卡环境。对比 BeautifulSoup 适合一次性小脚本，Scrapy 为长期跑的工程准备，选型看规模。