vLLM：9.4 万 star 的大模型推理引擎，自托管 LLM 的默认答案

GitHub 仓库

vllm-project/vllm

总 Stars

★ 94,435

今日新增

+128

主要语言

Python

查看 GitHub 项目

今天日榜第 15（单日 +128 star），总 star 9.4 万。vLLM 不需要介绍了——但如果你还没听说：它是 LLM 推理 serving 的事实标准，从 PagedAttention 起家，现在 DeepSeek-V3、Qwen3、Kimi、GPT-OSS 全是官方支持。自托管大模型做 API 服务，默认选项就是它。

能干嘛

解决的是“模型跑起来容易、服务化难”的问题：高吞吐、显存高效，把开源模型包装成生产级 API。个人用 Ollama 跑个 7B 玩玩很香，但要给团队提供稳定 API、多并发、低延迟，vLLM 才是正解。

适合谁

• 要把开源模型做成生产 API 的团队
• 本地/服务器自托管 Qwen、DeepSeek、Kimi 的用户
• 从 Ollama 的单机模式毕业、需要 serving 能力的人

值得注意

两个硬提醒：第一，issue/PR 积压 9000+，版本迭代极快，生产环境务必锁版本再上，追 latest 有惊喜（也可能是惊吓）；第二，它是 GPU 推理引擎（CUDA/AMD/TPU），个人笔记本 CPU 基本跑不动大模型，自托管先算好显存，别买了卡才发现不够。

对比 Ollama（个人本地跑模型的傻瓜方案），vLLM 是生产级 serving 引擎；对比 llama.cpp（C++、重 CPU/端侧），vLLM 吃的是 GPU 服务器场景。选型先看你的硬件和目标：单机尝鲜 Ollama，服务化上 vLLM。另外它的生态里还有 Semantic Router 等网关编排周边，生产做多模型路由可以一并评估。

站长点评：9.4 万 star 的项目我写不出什么新花样，就说一句大实话——vLLM 的文档和生态是它最大的护城河，出了问题全网都有答案。自托管第一步不是装 vLLM，是先算显存账。顺带一提，它的量化与分布式推理文档是全网最全的，显存不够先翻文档里的量化章节。项目地址：https://github.com/vllm-project/vllm