colibri：46,550 星的纯 C 推理引擎，旧电脑真能跑 744B 模型？

GitHub 仓库

JustVugg/colibri

总 Stars

★ 46,550

今日新增

+675

主要语言

C

查看 GitHub 项目

结论先行：colibri 拿了 46,550 个 star，主语言 C，Apache-2.0 开源，2026 年 11 月 2 日仍在推送，10 月 31 日发了 v2.1.0，日榜单日新增 675 星。它是纯 C、零依赖的推理引擎：把 MoE 模型不常用的专家留在磁盘上，用到时再读进来，号称在已有的硬件上跑数百 B 参数的开源大模型，不必配 GPU。

它是什么

仓库现有 13 个引擎：10 个给语言模型，1 个画图，2 个做决策。语言模型覆盖 GLM-5.2/5.3、Kimi K3、DeepSeek V4 Flash、MiMo-V2.6 Flash、Qwen3.6 等，也能直接读已发布的 GGUF 文件，在 CPU 上跑，或经 Vulkan 用任意 GPU、经 CUDA 用英伟达显卡。文档带中文版，一个模型家族对应一个引擎文件，结构比大框架好读。

能干嘛

按 README 的一键脚本起步：脚本先看机器的内存、磁盘、CPU 与显卡，再推荐一个装得下的模型。示例里 GLM-5.2 的 744B MoE 用 int4 量化，常驻内存 9.9GB，32 秒就绪，随后就能在终端里对话。本地跑模型的好处是权重与对话不走云端，离线环境也能用，代价是首次下载与磁盘占用都实在。

8GB 内存真够吗？

按官方口径，8GB 是最低线，16GB 以上更好，最小模型也要 22GB 空闲磁盘。常驻部分加专家缓存必须塞进内存，装之前先按脚本的推荐来，别硬上大模型。速度取决于量化格式、磁盘与显卡档位，README 的数字是在它自己的测试机上跑出来的，自己的机器先拿推荐的小模型验证，再决定要不要搬大权重。

适合谁 / 注意点

适合想在本地跑开源大模型的开发者与 AI 爱好者。注意 open issue 有 154 个，含 Windows 上 CUDA 文件与构建的求助，装之前先看自己平台的说明。昨天本站发过同类的 FreeToken：那一个走桌面应用加 API 兼容，colibri 走纯 C 单文件引擎，喜欢自己编译、自己调的选后者，想要开箱即用界面的看前者。

站长点评：我看重它把门槛写在明处：先报内存与磁盘数，再谈模型大小。本地跑大模型最怕上来就下载几十 GB 才发现塞不下，它的一键脚本先算账再下载，顺序是对的。我会先在备用机上跑通推荐模型，再考虑换更大的。

项目地址：https://github.com/JustVugg/colibri

核验记录：2026 年 11 月 3 日经 GitHub API 核验 stars、语言、许可证、版本与推送时间，数据与日榜一致。