LiteLLM：一个接口调用上百个大模型

GitHub 仓库

BerriAI/litellm

总 Stars

★ 61,588

主要语言

Python

查看 GitHub 项目

LiteLLM（BerriAI/litellm，6.1 万 star，MIT 协议）是 LLM 调用的统一网关：OpenAI 格式的接口，后面可以接上百个模型——GPT、Claude、Gemini、国产模型，切模型只改一个参数。还带负载均衡、失败重试、花费统计。

能干嘛：做 AI 应用不用被单个厂商绑定：开发时用便宜模型，生产切强模型，改一行配置就行。多 key 轮询、按成本路由这些生产刚需，它都包了。

适合谁：做 AI 应用的开发者、需要多模型对比评测的人。Python 库和代理网关两种用法，个人和小团队都合适。

注意点：它是个网关不是模型，各家模型的 key 还是要自己申请。生产用建议看它的代理模式文档，别只用库模式裸调。

站长点评：AI 应用开发最大的坑是「和某个模型结婚」——业务逻辑里写满厂商特有调用，换模型等于重写。LiteLLM 的价值就是给你「随时离婚的自由」，这 6 万 star 里至少一半是被这个自由吸引来的。