- GitHub 仓库
- jingyaogong/minimind
- 总 Stars
- ★ 65,962
- 主要语言
- Python
结论:MiniMind 是国内开发者做的从零训练大语言模型开源项目,65,962 星,Apache-2.0 协议。它的卖点很具体:最小的 MiniMind-3 只有 64M 参数,2026 年 4 月 1 日发布,监督微调阶段在单张 3090 上大约 2 小时跑完,作者说 GPU 租用成本不到 3 块钱。
先说它是什么
这不是一个拿现成模型做微调的教程,而是一套从零开始的完整训练链路:分词器自己训,预训练、监督微调、LoRA、DPO、PPO、GRPO 这些算法全部用 PyTorch 原生手写,不依赖高层框架封装。结构主线对齐 Qwen3 思路,还有 MoE 版本(198M 参数、激活 64M)。配套的还有视觉版、多模态版和扩散语言模型等实验分支。
能干嘛
跟着仓库走,你能亲手跑通“训一个自己的小模型”全过程:下载数据、预训练、微调、再用命令行或网页界面跟它对话。训好的权重可以直接用 ollama、vllm、llama.cpp 这些常见推理工具加载,也能通过兼容 OpenAI 协议的接口接进聊天界面。官方还放出了训好的权重,不想自己训可以直接下载体验。
64M 的小模型能聊出什么水平?
实话实说:别拿它当生产力聊天助手。64M 参数决定了它只能做简单问答和轻量任务,强项是帮你理解大模型内部是怎么转起来的,而不是替代几十亿参数的模型。把它当成一本能动手跑的活教材,心态就对了。
适合谁
最适合想搞懂大模型底层的学生和工程师,也适合 AI 课程老师拿来当实验材料。有显卡、愿意折腾的人收获最大,纯粹想找个聊天工具的人可以直接绕道。
注意点
训练需要 GPU,CPU 也能跑但速度会慢到劝退。数据要从 ModelScope 下载,国内访问友好。断点续训是支持的,训练脚本加一个参数就能接着跑,长任务不用怕中断。README 里写得很清楚:“2 小时”指的是微调阶段在 3090 上的实测耗时,别理解成从零训完整个模型只要 2 小时。
站长点评:我选 MiniMind 是因为它把“从零开始”做到了底——很多所谓从零教程其实是调包侠,MiniMind 连分词器和强化学习算法都手写,这份诚意在中文开源圈很少见。和直接微调开源大模型的路线比,它牺牲了实用性,换来了理解深度。65,962 星、421 次提交、持续更新到 2026 年 4 月的新版本,说明它不是一锤子买卖。我自己的判断:想学 LLM 原理的人,这可能是中文世界里性价比最高的练手项目。
⬇ 下载区(本站中转)
本站服务器实时中转 GitHub 文件,国内网络也可稳定下载;也可使用右侧官方链接。 本项目遵循 Apache-2.0 许可证。
要下载其他 GitHub 项目?试试本站的 GitHub 加速下载工具,粘贴链接即可中转。
