- 来源
- 本站聚合
- 值得薅指数
- 90 / 100
先给结论：想在自己电脑上跑大模型，不用从零翻 14 篇文章——本站已经写过的本地推理项目都在这篇导航里，按用途分了 4 组：本地推理引擎 5 个、轻量/低配方案 3 个、桌面聊天客户端 3 个、免费接口与学习路线 3 个。新手建议先装 Ollama 或 Jan 跑通第一个模型，再按需换引擎；老机器优先看第 2 组。
本地推理引擎：模型真正跑起来的地方
llama.cpp：在笔记本上本地跑大模型的 C++ 引擎——本地推理的事实标准，GGUF 模型生态的源头，CPU 也能跑，适合想理解底层的人先读透它。
Ollama：一条命令就在本机跑起大模型——新手第一站，安装和拉模型都是一条命令，跑通之后再谈别的。
colibri：46,550 星的纯 C 推理引擎，旧电脑真能跑 744B 模型？——纯 C 实现、零依赖，卖点是把超大模型塞进普通硬件，部署前先看它对内存的要求。
FreeToken：290B 大模型能在游戏电脑上跑？15,402 星的边缘 MoE 推理引擎——面向 MoE 架构的边缘推理，家里有游戏显卡的可以重点看。
vLLM：9.4 万 star 的大模型推理引擎，自托管 LLM 的默认答案——高并发在线推理的首选，有服务器、要给多人提供服务时再上它，个人单机没必要。
轻量/低配方案：显卡不够也能玩
AirLLM：单块 4GB 显存跑 2.8T 参数大模型推理——分层加载的老牌方案，显存小也能跑，代价是速度慢，适合实验不适合生产。
Kimi K3 的 2.78 万亿参数，真能在单 CPU、8GB 内存上跑起来？——把 Kimi K3 用纯 C99 重写实现，卖点是单 CPU 就能跑，作者说法以实测为准。
没有显卡也能本地跑大模型？LocalAI：一个接口通吃所有模型——OpenAI 兼容接口的本地后端，想把现有工具链无缝切到本地模型时用它。
桌面聊天客户端：不用敲命令也能对话
Jan：45,563 星的本地聊天客户端，大模型离线跑在自己电脑上——开源的本地 ChatGPT 式客户端，模型文件下载到本地就能离线聊，隐私敏感用户的首选。
本地大模型用什么界面？text-generation-webui：桌面端一站式——老牌 Gradio 界面，功能全、扩展多，适合爱折腾参数的人。
企业知识库怎么本地化？AnythingLLM：不租用智力——把自家文档喂给本地模型做问答，适合想搭私有知识库的小团队。
免费接口与学习路线：先白嫖、再系统学
免费模型聚合器 FreeLLMAPI：34 家厂商的免费额度，一个接口全接走——不想自己跑模型时，先用免费额度顶着，34 家聚合在一个接口里。
LiteLLM：一个接口调用上百个大模型——统一调用层，本地模型和云端 API 用同一套代码，适合写工具的人。
想系统学大模型？这份 8.4 万星的学习路线图先码住——从基础到微调的完整路线，跟着跑比零散看文章省时间。
问：第一次本地跑模型，应该先装哪一个？
答：先装 Ollama，一条命令就能跑通第一个模型，验证自己的机器和网络都没问题。想离线聊天就换 Jan；机器实在太旧就看 AirLLM 和 colibri；跑通之后想给多人提供服务，再考虑 vLLM。不要一上来就搭全套，先让一个模型在你电脑上开口说话。
问：本地跑模型和直接调云端 API，怎么选？
答：看三点：隐私、成本、延迟。数据不能出内网、或者长期高频调用，本地划算；偶尔用、追求最强模型，云端免费额度（FreeLLMAPI、LiteLLM 那两篇）更省事。很多人的终点是混合：日常小事本地模型扛，难题再调云端大模型。
站长点评
我自己搭本地模型的第一台机器就是一台旧笔记本，llama.cpp 跑起来那一刻才明白“本地”两个字的分量：不用等审核、不用看账单、断网也能用。这 14 篇我是按自己踩坑的顺序排的——先跑起来，再谈优化。提醒一句：本地模型的效果天花板取决于模型本身，别指望 7B 小模型写出 GPT 级别的代码，选模型前先看各篇里写的实测结论。