- GitHub 仓库
- lyogavin/airllm
- 总 Stars
- ★ 37,996
- 今日新增
- +1,004
- 主要语言
- Jupyter Notebook
能干嘛
AirLLM 用分层加载的思路，让 2.8T 参数这种量级的模型也能在单块 4GB 显存的消费级显卡上跑起推理——把“本地跑大模型”的门槛从 A100 拉到了普通游戏卡。
适合谁
- 显卡预算有限的学生党、独立开发者
- 想离线体验大模型、不想把数据送上云的人
- 研究模型压缩 / 推理优化的工程师：实现思路值得读
值得注意
今日新增 1,004 star。显存小意味着大量权重走内存/硬盘交换，推理速度会慢，适合尝鲜和实验，不适合低延迟生产场景。