- GitHub 仓库
- ggml-org/ggml
- 总 Stars
- ★ 15,907
- 今日新增
- +43
- 主要语言
- C++
结论先说:ggml 是给机器学习用的张量库,1.6 万星(15,907),C++ 编写,MIT 协议,2022 年 9 月建库,2026 年 11 月 13 日还有提交,11 月 16 日登上 GitHub 日榜、当日新增 43 星。本地跑大模型时,底层的张量计算很多就落在它身上,llama.cpp 那套本地推理工具就是从它这里长出来的。
它是什么:面向机器学习的底层张量计算库,专为 CPU 推理优化,轻量、没有重型依赖。
能干嘛:给本地大模型推理提供张量运算;量化模型、压显存占用;当作自己写推理工具的地基。
适合谁:想搞懂本地大模型怎么跑起来的开发者、写推理工具或者量化工具的人、对模型底层实现感兴趣的学习者。
注意点:它是底层库,不是开箱即用的聊天软件,直接拿它跑模型要自己写不少代码;想直接用本地大模型聊天,先找基于它的现成工具,别从这里起手。
ggml 和 PyTorch 有什么区别?
PyTorch 是全功能深度学习框架,训练推理都能干;ggml 是专精推理的轻量库,瞄准的是在普通 CPU 上把模型跑起来。做训练、做研究用 PyTorch,想在没显卡的机器上跑模型,ggml 这条路更贴身。
站长点评:我挑它是因为本地大模型这个话题写了很多应用层的东西,地基 ggml 反而一直没单独立过篇。15,907 星、从 2022 年维护到现在,底子很稳。我的建议是先读它的示例代码搞懂张量是怎么算的,再去碰上层推理工具,理解会深一层。
⬇ 下载区(本站中转)
本站服务器实时中转 GitHub 文件,国内网络也可稳定下载;也可使用右侧官方链接。 本项目遵循 MIT 许可证。
要下载其他 GitHub 项目?试试本站的 GitHub 加速下载工具,粘贴链接即可中转。
