- GitHub 仓库
- lyogavin/airllm
- 总 Stars
- ★ 37,996
- 今日新增
- +1,004
- 主要语言
- Jupyter Notebook
能干嘛
AirLLM 用分层加载的思路，让 2.8T 参数这种量级的模型也能在单块 4GB 显存的消费级显卡上跑起推理——把“本地跑大模型”的门槛从 A100 拉到了普通游戏卡。
适合谁
- 显卡预算有限的学生党、独立开发者
- 想离线体验大模型、不想把数据送上云的人
- 研究模型压缩 / 推理优化的工程师：实现思路值得读
值得注意
今日新增 1,004 star。显存小意味着大量权重走内存/硬盘交换，推理速度会慢，适合尝鲜和实验，不适合低延迟生产场景。
项目地址：https://github.com/lyogavin/airllm
⬇ 下载区（本站中转）
本站服务器实时中转 GitHub 文件，国内网络也可稳定下载；也可使用右侧官方链接。 本项目遵循 Apache-2.0 许可证。
要下载其他 GitHub 项目？试试本站的 GitHub 加速下载工具，粘贴链接即可中转。