首页 / GitHub 趋势 / 本地大模型背后的张量库:…
AI 与机器学习

本地大模型背后的张量库:ggml,1.6 万星的推理基石

ggml-org/ggml

GitHub 仓库
ggml-org/ggml
总 Stars
★ 15,907
今日新增
+43
主要语言
C++
查看 GitHub 项目

结论先说:ggml 是给机器学习用的张量库,1.6 万星(15,907),C++ 编写,MIT 协议,2022 年 9 月建库,2026 年 11 月 13 日还有提交,11 月 16 日登上 GitHub 日榜、当日新增 43 星。本地跑大模型时,底层的张量计算很多就落在它身上,llama.cpp 那套本地推理工具就是从它这里长出来的。

它是什么:面向机器学习的底层张量计算库,专为 CPU 推理优化,轻量、没有重型依赖。

能干嘛:给本地大模型推理提供张量运算;量化模型、压显存占用;当作自己写推理工具的地基。

适合谁:想搞懂本地大模型怎么跑起来的开发者、写推理工具或者量化工具的人、对模型底层实现感兴趣的学习者。

注意点:它是底层库,不是开箱即用的聊天软件,直接拿它跑模型要自己写不少代码;想直接用本地大模型聊天,先找基于它的现成工具,别从这里起手。

ggml 和 PyTorch 有什么区别?

PyTorch 是全功能深度学习框架,训练推理都能干;ggml 是专精推理的轻量库,瞄准的是在普通 CPU 上把模型跑起来。做训练、做研究用 PyTorch,想在没显卡的机器上跑模型,ggml 这条路更贴身。

站长点评:我挑它是因为本地大模型这个话题写了很多应用层的东西,地基 ggml 反而一直没单独立过篇。15,907 星、从 2022 年维护到现在,底子很稳。我的建议是先读它的示例代码搞懂张量是怎么算的,再去碰上层推理工具,理解会深一层。

⬇ 下载区(本站中转)

本站服务器实时中转 GitHub 文件,国内网络也可稳定下载;也可使用右侧官方链接。 本项目遵循 MIT 许可证。

📦 源码包(默认分支 ZIP)本站下载官方下载

要下载其他 GitHub 项目?试试本站的 GitHub 加速下载工具,粘贴链接即可中转。

AI 与机器学习 每日榜单

相关推荐