- GitHub 仓库
- lightseekorg/tokenspeed
- 总 Stars
- ★ 2,287
- 主要语言
- Python
能干嘛
一个 LLM 推理加速引擎，自称「speed-of-light」（光速级）。技术路线是手写 CUDA 内核优化：针对 DeepSeek-V4.1、Qwen、Kimi 等模型的 MoE 路由、注意力机制做底层加速，PR #2377 里贴了在 4×B300 上 756 个请求的实测数据。Python 编写，MIT 协议，2287 star、331 fork，10 月 15 日有提交。
适合谁
- 自己搭推理服务、有高端显卡（Blackwell 架构）的人
- 做推理优化研究的工程师
- 普通用户用不上——这是给「开卡车的人」造的引擎
值得注意
「speed-of-light」是营销词，冷静看三点：第一，性能数据都测在 4×B300 这类旗舰硬件上，消费级显卡上的效果无从核验；第二，项目聚焦很新很专（DeepSeek-V4.1 的 MoE 路由、Blackwell 的 CuTe DSL），部署门槛高，需要 CUDA 13 环境；第三，仓库 2026 年 5 月才创建，2287 star 体量还小，生态和文档都在早期。
站长点评
今天榜单唯一的推理引擎项目，其他全是 skill 和 harness，我把它留下来就是为了给「自己部署模型」这群人一个选项。我的判断：技术方向是对的（推理优化是真需求），但现阶段它服务的是顶配硬件玩家，大多数人看看就好，真要做推理加速先去看 vLLM、SGLang 这些成熟方案。
项目地址：https://github.com/lightseekorg/tokenspeed
⬇ 下载区（本站中转）
本站服务器实时中转 GitHub 文件，国内网络也可稳定下载；也可使用右侧官方链接。 本项目遵循 MIT 许可证。
要下载其他 GitHub 项目？试试本站的 GitHub 加速下载工具，粘贴链接即可中转。