首页 / GitHub 趋势 / Apache Arrow…
数据与爬虫

Apache Arrow:1.7 万星,跨语言的列式数据交换格式

apache/arrow

GitHub 仓库
apache/arrow
总 Stars
★ 17,297
主要语言
C++
查看 GitHub 项目

结论先说:Apache Arrow 是跨语言的列式数据交换格式与工具箱,1.7 万星(17,297),C++ 编写,Apache-2.0 协议,2016 年建库,2026 年 11 月 13 日还有提交。它解决的是数据在不同系统之间搬来搬去又慢又占内存的问题。

它是什么:Apache 基金会的开源项目,定义了一套内存中的列式数据格式,Python、Java、Go 这些语言都能直接读写。

能干嘛:不同语言、不同系统之间零拷贝交换数据;加速大数据分析与机器学习的数据读取;当作 Parquet 这些存储格式的内存层。

适合谁:做数据工程的人、处理大规模数据分析的开发者、在多种语言之间倒腾数据的团队。

注意点:它是偏底层的工具,直接用的门槛不低,大多数人是通过 pandas、Spark 这些上层工具间接受益;先确认你的工具链支不支持 Arrow 再动手。

Arrow 和 Parquet 有什么区别?

Parquet 是存硬盘上的列式格式,Arrow 是放内存里的列式格式,两个经常配合用:硬盘上存 Parquet,读进内存变成 Arrow 来算。

站长点评:我挑它是因为数据文章写了不少,底层格式这块一直是空白,Arrow 是绕不开的名字。我的建议是先从 pandas 里用 Arrow 当后端引擎,感受一下速度变化再往深了学。

⬇ 下载区(本站中转)

本站服务器实时中转 GitHub 文件,国内网络也可稳定下载;也可使用右侧官方链接。

📦 源码包(默认分支 ZIP)官方下载

项目信息暂时获取不到,本站下载稍后再试;可先用官方链接。

要下载其他 GitHub 项目?试试本站的 GitHub 加速下载工具,粘贴链接即可中转。

数据与爬虫 新星挖掘

相关推荐