Xorbits Inference（简称 Xinference）是一个功能强大且用途广泛的模型推理与服务库，旨在用于部署和运行语言模型、语音识别模型以及多模态模型。通过一条命令，即可部署和运行用户自有模型或内置的先进模型。该库面向研究人员、开发者和数据科学家，提供统一的、面向生产环境的推理 API。
主要能力
- 模型服务简化：可一条命令完成大型语言、语音识别与多模态模型的部署与服务，用于实验和生产环境。
- 内置先进模型：提供对前沿开源模型的访问。资料中列出的内置支持模型包括 EmbeddingGemma 2、Confucius4-TTS、jina-ocr-v1、TeleOCR、Ming-Image 系列（Design、Design Layer）、Qwen-Image-2.1、MinerU2.5、Spark-X2.5 系列、LingBot-World-V2 系列、Irodori-TTS v4.1 系列、YuE2-3B、AuK 系列等。
- 异构硬件利用：借助 ggml 智能利用 GPU 和 CPU 等异构硬件加速推理。
- 灵活的 API 与界面：支持 OpenAI 兼容的 RESTful API（包括 Function Calling API）、RPC、CLI 和 WebUI。
- 分布式部署：支持跨多个设备或机器分布模型推理。
- 第三方集成：与 LangChain、LlamaIndex、Dify、Chatbox 等库集成。
- 框架增强：Xinference 4.0.0 提供多引擎 Xavier、异构 P/D、运行时模型重配置；具备 Agent 原生服务（集成 Xagent，支持动态规划、工具调用与自主多步推理）；自动批处理（自动批量处理并发请求以提升吞吐）；Xllamacpp（由 Xinference 团队维护的 llama.cpp Python 绑定，支持连续批处理）；分布式推理（跨 worker 运行模型）；VLLM 增强（多个副本间共享 KV 缓存）。
使用方式
- 自托管社区版：可通过快速入门指南在环境中运行 Xinference。
- 企业版：Xinference Enterprise 是在生产环境中运行模型的商业版本，可部署在自有云或数据中心，或选择 Xinference Cloud 的托管专用部署；托管 Model API 可通过 OpenAI 兼容 API 访问受支持模型，无需管理推理基础设施。企业咨询可访问 xinference.co 或发送邮件。
- 一键安装：Windows PowerShell 提供一键安装器；Nvidia GPU 用户可使用 Xinference Docker 镜像启动服务器（需先配置 Docker 与 CUDA）；Kubernetes 集群需具备 GPU 支持后按文档安装。
- 可通过文档获取内置模型列表与部署说明。
适用场景
- 在云端、本地部署（on-prem）或个人笔记本上运行开源模型、语音模型和多模态模型。
- 需要统一、生产就绪推理 API 的模型服务场景。
- 与 LangChain、LlamaIndex、Dify、Chatbox、Xagent、FastGPT、RAGFlow、MaxKB 等平台或库结合使用。
- 分布式推理与异构硬件加速场景。
限制与暂未提供的信息 资料未提供具体收费价格、性能基准数据、精确的硬件最低要求及各模型的具体许可条款。部分安装命令的具体代码内容未在提供的资料中完整给出；详情需参考官方文档。
