- GitHub 仓库
- apache/arrow
- 总 Stars
- ★ 17,297
- 主要语言
- C++
结论先说:Apache Arrow 是跨语言的列式数据交换格式与工具箱,1.7 万星(17,297),C++ 编写,Apache-2.0 协议,2016 年建库,2026 年 11 月 13 日还有提交。它解决的是数据在不同系统之间搬来搬去又慢又占内存的问题。
它是什么:Apache 基金会的开源项目,定义了一套内存中的列式数据格式,Python、Java、Go 这些语言都能直接读写。
能干嘛:不同语言、不同系统之间零拷贝交换数据;加速大数据分析与机器学习的数据读取;当作 Parquet 这些存储格式的内存层。
适合谁:做数据工程的人、处理大规模数据分析的开发者、在多种语言之间倒腾数据的团队。
注意点:它是偏底层的工具,直接用的门槛不低,大多数人是通过 pandas、Spark 这些上层工具间接受益;先确认你的工具链支不支持 Arrow 再动手。
Arrow 和 Parquet 有什么区别?
Parquet 是存硬盘上的列式格式,Arrow 是放内存里的列式格式,两个经常配合用:硬盘上存 Parquet,读进内存变成 Arrow 来算。
站长点评:我挑它是因为数据文章写了不少,底层格式这块一直是空白,Arrow 是绕不开的名字。我的建议是先从 pandas 里用 Arrow 当后端引擎,感受一下速度变化再往深了学。
⬇ 下载区(本站中转)
本站服务器实时中转 GitHub 文件,国内网络也可稳定下载;也可使用右侧官方链接。
📦 源码包(默认分支 ZIP)官方下载
项目信息暂时获取不到,本站下载稍后再试;可先用官方链接。
要下载其他 GitHub 项目?试试本站的 GitHub 加速下载工具,粘贴链接即可中转。
