首页 / GitHub 趋势 / 数据分析师的 SQL 怎…
数据与爬虫

数据分析师的 SQL 怎么管?dbt:把数据转换当代码写,1.4 万星

dbt-labs/dbt-core

GitHub 仓库
dbt-labs/dbt-core
总 Stars
★ 14,138
主要语言
Rust
查看 GitHub 项目

结论先说:dbt-core 是编辑精选的常青项目,总量 14,138 星(API 核验:仓库主语言为 Rust、Apache-2.0 协议、11 月 10 日仍在推送)。

它是什么

dbt 的全称是 data build tool,解决的是“数仓里几百个 SQL 怎么维护”的问题。

能干嘛

搭数仓的转换层、做指标口径治理、给业务方出可信的报表;测试能拦住脏数据进下游;文档和血缘图让新人接手时不用到处问人。

适合谁

数据分析师、数据工程师、有数仓要维护的团队。数据量还很小、SQL 只有十几条的时候,直接写脚本也够用。

问:dbt 和直接写 SQL 脚本、Airflow 怎么分工?

dbt 管“转换逻辑怎么写、怎么测”,Airflow 管“任务什么时候跑、失败怎么办”,两者经常一起出现。我的看法是:转换逻辑先上 dbt,调度后上 Airflow,顺序别反。

注意点

学习曲线在 SQL 之外:模型、测试、宏这些概念要花时间;先从一个小数据集市试点,别一上来就重构整个数仓。

站长点评

数据团队的混乱,一半来自 SQL 没有工程化管理:口径各说各话、改一个数牵一发动全身。

⬇ 下载区(本站中转)

本站服务器实时中转 GitHub 文件,国内网络也可稳定下载;也可使用右侧官方链接。

📦 源码包(默认分支 ZIP)官方下载

项目信息暂时获取不到,本站下载稍后再试;可先用官方链接。

要下载其他 GitHub 项目?试试本站的 GitHub 加速下载工具,粘贴链接即可中转。

数据与爬虫 热度最高

相关推荐