100 美元能训出 ChatGPT 吗？nanochat：59,891 星的极简 LLM 训练架

GitHub 仓库

karpathy/nanochat

总 Stars

★ 59,891

今日新增

+321

主要语言

Python

查看 GitHub 项目

结论先行：nanochat 拿了 59,891 个 star，主语言 Python，MIT 开源，2025 年 10 月建库，2026 年 9 月 7 日最后推送，之后近两个月没有新提交，日榜单日新增 321 星。它是 Karpathy 写的极简 LLM 训练架：号称用约 48 美元的算力，在约 2 小时里训出 GPT-2 级别的模型，单机 8 卡就能跑，代码以好读、好改为目标。

它是什么

覆盖 LLM 的全流程：分词、预训练、微调、评测与推理，全部收进一个最小可改的代码库。复杂度只有一个旋钮：–depth，即 Transformer 的层数，宽度、头数、学习率、训练时长等其余超参数都按最优规则自动算出来。GPT-2 级别大约对应 depth 26，仓库用 runs/speedrun.sh 一条脚本串起整条训练管线，训完用 python -m scripts.chat_cli 就能对话。

能干嘛

当教学与实验架用：跑通一次 speedrun，就亲手走完了从数据到能说话模型的每一步。仓库还维护“训出 GPT-2 要多久”的排行榜，以 DCLM CORE 分数 0.256525 为达标线：2019 年约 4.3 万美元的账，现在按每小时每卡 3 美元算约 48 美元，抢占式实例上 README 称可压到约 15 美元。

没有 8 卡 H100 能玩吗？

能玩小的，跑不了完整的 speedrun。仓库有 CPU 与 MPS 的运行说明，精度与 dtype 表也写明了不同硬件的取舍，小 depth 的模型可以在普通机器上实验。真要冲排行榜成绩，还是得租一台 8 卡节点。训出来的模型按 README 的说法“有点像跟幼儿园孩子说话”，会一本正经地胡说八道，别拿它当生产模型用。

适合谁 / 注意点

适合想亲手理解 LLM 训练全流程的学生、研究者与工程师。注意成本数字是 README 按当时云厂商报价算的估算，租卡前先按当前价格重算；open issue 有 139 个；近两个月未推送，动手前先确认依赖版本还能装上。起步命令是 uv sync –extra gpu，CUDA 环境先备好。

站长点评：我把它放进深写档，不是推荐大家都去烧卡，而是它把“训一个模型”从黑盒变成了能读完的代码。先读 speedrun.sh，再决定要不要花那 48 美元，顺序别反。我自己更看重它的教学价值：跑通一次，比看十篇原理文章记得牢。

项目地址：https://github.com/karpathy/nanochat

核验记录：2026 年 11 月 3 日经 GitHub API 核验 stars、语言、许可证与推送时间，9 月 7 日后无新推送已如实写明，数据与日榜一致。