首页 / GitHub 趋势 / Scrapy 遇上动态页…
数据与爬虫

Scrapy 遇上动态页面怎么办?scrapy-playwright 这样接

GitHub 仓库
scrapy-plugins/scrapy-playwright
总 Stars
★ 1,469
主要语言
Python
查看 GitHub 项目

这篇的主角是 scrapy-playwright:Scrapy 官方插件组织出的下载器,1,469 星,BSD 协议,45 个版本,让 Scrapy 能直接驱动 Playwright 渲染动态页面。

适合谁:已经有 Scrapy 工程、又撞上动态页面的爬虫开发者。

能干嘛:爬需要登录、滚动加载、JS 渲染的页面;支持 Chromium、Firefox、WebKit 三个引擎;复用整套 Scrapy 工程。

是什么:Scrapy 的下载处理器,请求改走 Playwright for Python,JS 渲染完再进正常流程,调度、去重、落库都不用重写。

Scrapy 遇上动态页面怎么办?

三种路:找接口直接调、换浏览器自动化、或者接 scrapy-playwright;已有 Scrapy 工程的选它最省事,调度、去重、落库都不用重写,只换下载器。

注意点:Playwright 浏览器要先装好;动态页渲染比纯 HTTP 慢得多,别全站都走它,只给动态页开;异步写法和 Scrapy 的回调要配对看文档,第一次接容易把请求写串。

站长点评:我选它是因为 1,469 星看着不高,但它是 Scrapy 官方插件组织维护的,45 个版本跟得紧;提醒一句,渲染一开成本就上去了,别拿它当通用下载器。

⬇ 下载区(本站中转)

本站服务器实时中转 GitHub 文件,国内网络也可稳定下载;也可使用右侧官方链接。

📦 源码包(默认分支 ZIP)官方下载

项目信息暂时获取不到,本站下载稍后再试;可先用官方链接。

要下载其他 GitHub 项目?试试本站的 GitHub 加速下载工具,粘贴链接即可中转。

数据与爬虫 新星挖掘

相关推荐