想亲手训一个 GPT？nanoGPT：Karpathy 的 6.4 万星极简训练框架

GitHub 仓库

karpathy/nanoGPT

总 Stars

★ 64,580

主要语言

Python

查看 GitHub 项目

结论先说：nanoGPT 是编辑精选的常青项目，总量 64,580 星（API 核验：Python 编写、MIT 协议）。

它是什么

nanoGPT 的定位是“最简单、最快的训练仓库”：数据准备、模型定义、训练循环、采样生成，全套都在一个仓库里，代码量小到能通读。

能干嘛

学习大模型训练的完整流程、微调一个小模型做特定任务、验证训练思路；教学和实验场景下，它比工业级框架直观得多。

适合谁

想理解 LLM 训练原理的开发者和学生、要做小规模微调实验的人。真要训生产级大模型，还是要用工业级框架。

问：nanoGPT 和 llm.c、Transformers 怎么选？

三者分工不同：nanoGPT 是教学用的 Python 实现，读得懂、改得动；llm.c 是 Karpathy 的 C/CUDA 极致性能版，追求速度；Transformers 是工业级全家桶，功能最全。我的看法是：先学原理看 nanoGPT，再谈生产。

注意点

它不是生产框架，大规模训练要自己接分布式和优化；显卡显存是硬门槛，先从最小配置跑通。

站长点评

Karpathy 的代码有种特别的魔力：把复杂的东西写得让人能读懂。