xLLM 是一个高性能 LLM 推理引擎，支持 LLM、VLM、DiT 和 REC 模型，并针对多种 AI 加速器进行优化，托管于开放原子开源基金会。
【用途】 xLLM 是一个高效的 LLM 推理框架，专门针对国产 AI 加速器进行优化，面向企业级部署，目标是提升效率并降低成本。
【主要能力】
- 顶级性能：通过多项高级特性实现高吞吐、低延迟推理。
- 主流硬件支持：针对国产 AI 加速器专门构建并深度优化。
- 服务与引擎解耦架构：服务层负责调度与可用性，引擎层负责计算。
- 企业级部署：已宣称在京东核心零售业务的大规模场景中得到验证。
- 支持模型类型：LLM、VLM、DiT 和 REC 模型。
- 混合 KV 缓存管理：基于 Mooncake 构建，支持全局 KV 缓存管理，具备智能卸载与预取能力。
【使用方式】 仓库提供以下入门内容：硬件支持说明、快速开始、离线推理、支持的模型、社区与支持。项目说明中提及可参考部署文档进行部署。具体的安装命令、代码示例与配置步骤在提供的资料中暂未提供。
【版本支持记录（资料中所列）】
- 2026-08-27：day-0 支持 GLM-5.3-Flash 模型。
- 2026-07-06：xLLM 正式捐赠给开放原子开源基金会。
- 2026-06-13：day-0 支持 MiniMax-M3 模型。
- 2026-04-24：day-0 支持 DeepSeek-V4 模型。
- 2026-02-12：day-0 支持 GLM-5 模型的高性能推理。
- 2025-12-21：day-0 支持 GLM-4.7 模型的高性能推理。
- 2025-12-08：day-0 支持 GLM-4.6V 模型的高性能推理。
- 2025-12-05：支持 GLM-4.5/GLM-4.6 系列模型的高性能推理；支持 VLM-R1 模型的高性能推理；构建基于 Mooncake 的混合 KV 缓存管理。
- 2025-10-16：在 arXiv 发布 xLLM 技术报告。
【适用场景】 面向需要在国产 AI 加速器上进行 LLM、VLM、DiT、REC 模型推理部署的企业级场景，尤其是对吞吐、延迟和部署效率有较高要求的大规模生产环境。
【限制与暂未提供的信息】 资料未提供具体的安装命令、代码示例、模型权重获取方式、许可协议细节、收费与价格信息、性能基准数据以及完整的硬件兼容列表。使用前需查阅官方仓库中的部署文档与硬件支持说明。
