首页 / GitHub 趋势 / Airflow:数据管道…
数据与爬虫

Airflow:数据管道的总调度,4.7 万星的事实标准

apache/airflow

GitHub 仓库
apache/airflow
总 Stars
★ 47,182
主要语言
Python
查看 GitHub 项目

编辑精选常青项目,非当日热榜。

是什么

Apache Airflow 是用 Python 编排、调度和监控工作流的平台,DAG 定义任务依赖,Web 界面看运行状态。Apache 顶级项目,4.7 万 star、Apache-2.0 协议。数据和爬虫类目里它是编排层的标杆:cron 只能解决“定时跑”,Airflow 管的是任务依赖、失败重试、回填和监控,复杂度一上来两者完全不是一个物种。

能干嘛

定时调度 ETL、爬虫任务编排、机器学习流水线,任务失败自动重试,Web UI 实时查看每条链路的运行状态。

适合谁

数据工程师、爬虫团队、需要把一批定时脚本管起来的后端开发者。

值得注意

本体比较重,官方推荐用 Docker Compose 起步;裸 pip 安装容易遇到依赖冲突,新手别硬刚,先把官方的 docker-compose 跑通再说。

站长点评

从三个 cron 脚本起步的团队,迁移到 Airflow 后半夜被告警叫醒的次数会明显减少。重是重了点,但值。

⬇ 下载区(本站中转)

本站服务器实时中转 GitHub 文件,国内网络也可稳定下载;也可使用右侧官方链接。 本项目遵循 Apache-2.0 许可证。

📦 源码包(默认分支 ZIP)本站下载官方下载
最新版 3.3.2 安装包
apache_airflow-3.3.2-py3-none-any.whl (13.0 KB)本站下载官方下载
apache_airflow-3.3.2-py3-none-any.whl.asc (297 B)本站下载官方下载
apache_airflow-3.3.2-py3-none-any.whl.sha512 (168 B)本站下载官方下载
apache_airflow-3.3.2-source.tar.gz (67.8 MB)本站下载官方下载
apache_airflow-3.3.2-source.tar.gz.asc (297 B)本站下载官方下载
apache_airflow-3.3.2-source.tar.gz.sha512 (165 B)本站下载官方下载
apache_airflow-3.3.2.tar.gz (31.0 KB)本站下载官方下载
apache_airflow-3.3.2.tar.gz.asc (297 B)本站下载官方下载
apache_airflow-3.3.2.tar.gz.sha512 (158 B)本站下载官方下载
apache_airflow_core-3.3.2-py3-none-any.whl (6.6 MB)本站下载官方下载
apache_airflow_core-3.3.2-py3-none-any.whl.asc (297 B)本站下载官方下载
apache_airflow_core-3.3.2-py3-none-any.whl.sha512 (173 B)本站下载官方下载
apache_airflow_core-3.3.2.tar.gz (7.1 MB)本站下载官方下载
apache_airflow_core-3.3.2.tar.gz.asc (297 B)本站下载官方下载
apache_airflow_core-3.3.2.tar.gz.sha512 (163 B)本站下载官方下载

要下载其他 GitHub 项目?试试本站的 GitHub 加速下载工具,粘贴链接即可中转。

数据与爬虫 新星挖掘

相关推荐