- GitHub 仓库
- FlashML-org/FreeToken
- 总 Stars
- ★ 15,402
- 主要语言
- Python
结论先行：FreeToken 拿了 15,402 个 star，主语言 Python，Apache-2.0 开源，2026 年 10 月 26 日发了 v0.2.1，11 月 2 日凌晨仍在推送。它是面向边缘设备的 MoE 推理引擎，README 的说法是：在自己已有的硬件上，跑 290B 参数以上的前沿 MoE 开源模型，达到可交互的速度。
它是什么
核心打法是把 GPU、CPU、主机内存与互连当成统一的弹性推理平台：带宽自适应的 CPU 与 GPU 协同执行、专家缓存、语义感知的 KV 缓存（智能体改上下文时少重复算）、运行时动态重分显存。支持 DeepSeek-V4-Flash、Qwen3.6-35B-A3B、GLM-5.2 等前沿开源 MoE 模型，量化格式覆盖 MXFP4、NVFP4、FP8、BF16，对外提供 Anthropic 与 OpenAI 兼容的 API。
能干嘛
桌面应用在 flashml.ai 下载，支持 Windows 与 Linux，装好就能跑模型、聊天、调引擎参数；命令行走 uv pip install “freetoken[accel]”。接进 Codex、Claude Code、OpenCode、OpenClaw、DeepSeek Harness 这类编码与调用工具的智能体，就能在本机跑大模型干活，模型权重与对话不走云端。
游戏电脑真能跑 290B 模型吗？
要打折扣理解。MoE 每次推理只激活一部分专家，算力与显存需求不等于同规模 dense 模型，这是它敢喊 290B 的底气；但实际速度取决于量化格式、内存、磁盘与显卡档位，README 明确支持 RTX 30、40、50 系列。稳妥做法是先拿小模型与官方支持模型列表跑通，再决定要不要搬大权重，别一上来就冲 290B。
适合谁 / 注意点
适合想在本地跑开源大模型、又不想搭机房的开发者与 AI 爱好者。注意项目很年轻：2026 年 7 月 20 日建库，open issue 多达 470 个，文档里还有 FTW 检查点修复与加载失败诊断专页，说明检查点排障是常见活。权重文件体积大，先确认磁盘与内存够不够；桌面应用目前只提 Windows 与 Linux，没提 macOS。
站长点评：我把它放进深写档，是因为“本地跑大模型”这件事正在从机房走向桌面，FreeToken 的打法很对路：先兼容主流智能体的 API，模型才能真正被用起来。先小模型验证，再放大模型，这一步别跳。
项目地址：https://github.com/FlashML-org/FreeToken
⬇ 下载区（本站中转）
本站服务器实时中转 GitHub 文件，国内网络也可稳定下载；也可使用右侧官方链接。 本项目遵循 Apache-2.0 许可证。
要下载其他 GitHub 项目？试试本站的 GitHub 加速下载工具，粘贴链接即可中转。