- GitHub 仓库
- NandhaKishorM/laya
- 总 Stars
- ★ 33,274
- 主要语言
- Python
NandhaKishorM 今年 9 月 18 日发布的 Python 项目，API 实测 33274 star、2985 fork、81 open issue，Apache-2.0 协议，10 月 17 日还在 push。它是个反常识的东西：非自回归的「System 1」决策引擎——给你一段文本和几个类型化问题（选哪个部门、打几分、是不是要流失），一次前向传播 33 毫秒出结果（T4 实测，批量时 7.2ms/问）。不生成文本，所以不幻觉、不用解析。
背景：这是一个什么项目
大模型时代，「分类/打分/是否判断」这类小事还在用几十亿参数的生成模型，既贵又慢还不稳定。Laya 用 4 亿参数级别的编码器（ModernBERT-large 421M 做英文，mmBERT-base 322M 做 100+ 种语言）专门干决策，Router 按请求自动选 checkpoint。作者甚至为它写了 RLCD 强化学习训练流程，论文味很正。
亮点功能
- 快：单问题 33ms，批量 7.2ms/问，T4 卡实测；
- 类型化输出：choice/score/noul（是否）三种题型，带置信度校准；
- 多语言：100+ 语言，Router 自动识别脚本和语种；
- 生态全：
pip install laya（需 Python 3.10+），MCP server、LangChain/LlamaIndex/CrewAI/Agno 封装、TypeScript SDK，连 Rust SDK 都有了（0.4.11 新增）； - 可微调：在作者自有测试集上，微调后准确率从 0.362 提到 0.766。
使用场景
客服工单分诊、内容审核打分、agent 的工具路由——凡是「高频、延迟敏感、答案是个类别或分数」的活。命令行 laya "My payment failed twice" --preset triage 就能试。
冷水时间
- 长文档默认只读 1024 token，长的要传 max_len=8192；
- 零样本能用，但真想准得拿自己的数据微调，0.362 到 0.766 的差距说明底子是一回事、调优是另一回事；
- README 里的 benchmark 都是作者自己跑的，信，但别全信，自己数据上验一遍。
站长点评
我选它，是因为它代表了一种难得的清醒：别人都在堆更大的生成模型，它用编码器把「决策」做到了 33 毫秒。agent 时代，路由、分类、打分这种高频小事就该这么干——便宜、快、可复现。3.3 万 star、81 个 issue，体量和维护都健康。代价也得说清楚：表达能力弱，复杂推理别指望它。这是今年 AI 基础设施里我最欣赏的「小而美」之一，搞 agent 工程的人建议读一遍它的 README。——站长