llama.cpp：在笔记本上本地跑大模型的 C++ 引擎

GitHub 仓库

ggml-org/llama.cpp

总 Stars

★ 131,245

主要语言

C++

查看 GitHub 项目

是什么

llama.cpp 是大模型本地推理引擎，C/C++ 编写、MIT 协议，13.1 万 star，现由 ggml-org 组织维护。（编辑精选常青项目，非当日热榜。）本地跑模型的事实标准：Ollama 这类易用工具的底层用的也是它。想要抠性能、自己选量化方案、多后端榨干显卡，就得直接用它而不是被封装好的工具。

能干嘛

• 在 CPU、苹果芯片、N 卡/A 卡上本地运行大模型
• 丰富的量化格式，显存不够也能跑大参数模型
• 提供 server 模式，一行命令起 OpenAI 兼容接口

适合谁

想本地部署大模型的人、做 AI 应用开发需要可控推理后端的开发者、硬件玩家。

值得注意

量化版本选得太激进效果下降明显，新手建议从 Q4 起步；不同显卡后端要编译对应版本，下载预编译包先看清文件名后缀。

站长点评

本地 LLM 的世界里，它就是水电煤。Ollama 负责好用，它负责一切皆可调，我两个都装。