- GitHub 仓库
- scrapy-plugins/scrapy-playwright
- 总 Stars
- ★ 1,469
- 主要语言
- Python
这篇的主角是 scrapy-playwright:Scrapy 官方插件组织出的下载器,1,469 星,BSD 协议,45 个版本,让 Scrapy 能直接驱动 Playwright 渲染动态页面。
适合谁:已经有 Scrapy 工程、又撞上动态页面的爬虫开发者。
能干嘛:爬需要登录、滚动加载、JS 渲染的页面;支持 Chromium、Firefox、WebKit 三个引擎;复用整套 Scrapy 工程。
是什么:Scrapy 的下载处理器,请求改走 Playwright for Python,JS 渲染完再进正常流程,调度、去重、落库都不用重写。
Scrapy 遇上动态页面怎么办?
三种路:找接口直接调、换浏览器自动化、或者接 scrapy-playwright;已有 Scrapy 工程的选它最省事,调度、去重、落库都不用重写,只换下载器。
注意点:Playwright 浏览器要先装好;动态页渲染比纯 HTTP 慢得多,别全站都走它,只给动态页开;异步写法和 Scrapy 的回调要配对看文档,第一次接容易把请求写串。
站长点评:我选它是因为 1,469 星看着不高,但它是 Scrapy 官方插件组织维护的,45 个版本跟得紧;提醒一句,渲染一开成本就上去了,别拿它当通用下载器。
⬇ 下载区(本站中转)
本站服务器实时中转 GitHub 文件,国内网络也可稳定下载;也可使用右侧官方链接。
📦 源码包(默认分支 ZIP)官方下载
项目信息暂时获取不到,本站下载稍后再试;可先用官方链接。
要下载其他 GitHub 项目?试试本站的 GitHub 加速下载工具,粘贴链接即可中转。