本地部署大模型推理服务怎么搭？Xinference：9 千星的一站式推理框架

GitHub 仓库

xorbitsai/inference

总 Stars

★ 9,653

主要语言

Python

查看 GitHub 项目

结论先说：Xinference 是一站式大模型推理框架，9,653 星，Apache-2.0 协议，Python 编写，2023 年建库，2026 年 11 月 12 日当天还有提交。一个服务同时管 LLM、Embedding、语音、图片模型。

它是什么：一个本地推理服务框架，把模型下载、加载、对外提供 API 装进一个统一入口，支持多种后端。

能干嘛：在自己的服务器上搭模型推理服务、给应用提供统一的模型 API、同时跑聊天、向量、语音好几种模型。

适合谁：要自托管模型服务的开发者、做 RAG 应用的团队、想把多个模型收进一个入口的人。

注意点：模型支持列表更新快，用之前先确认你要的模型在不在列表里；显存不够就先从小模型起步。

Xinference 和 Ollama 有什么区别？

Ollama 轻量、主打聊天模型；Xinference 覆盖的模型类型更广，适合要搭一整套推理服务的场景。个人尝鲜选 Ollama，团队搭服务看 Xinference。

站长点评：我挑它是因为自托管推理这个方向，站里之前发过 Ollama 和 llama.cpp，Xinference 补的是多模型统一入口这一块。9,653 星、2026 年 11 月 12 日当天还在提交，更新很勤。我的建议是先拿一个小模型把 API 跑通，再往上加模型。