用途
vLLM 是用于大型语言模型（LLM）的高吞吐、内存高效的推理与服务引擎，目标是让高性能 LLM 服务对所有人来说都更简单、快速且成本高效。
主要能力
- 高吞吐与内存高效：借助 PagedAttention 最大化吞吐量，并通过先进调度和连续批处理（continuous batching）确保峰值 GPU 利用率。
- 广泛兼容性：一个引擎即可在任意硬件上运行任意模型，支持最新热门开源模型，并针对生产环境进行优化。
- 统一 API：跨平台提供统一 API，并包含与 OpenAI 兼容的即插即用 API，便于即时集成。
- 成本效益：通过最大化硬件效率来大幅降低推理成本，使高性能 LLM 更可负担、更易获取。
使用方式
安装时需选择偏好并运行安装命令。稳定版（Stable）代表当前经过测试和支持的版本；如需最新构建，可使用 Nightly 版本。
- 需要 Python 3.10+，推荐 Python 3.12+。
- 推荐使用 uv 以获得更快、更可靠的安装。
- 其他平台请参阅 docs.vllm.ai。
- 兼容所有 CUDA 13.x 版本（13.0 - 13.1）。
适用场景
适用于在各类硬件上部署广泛开源 LLM，需要高吞吐、内存高效的生产级推理服务，以及希望以低成本获得高性能 LLM 服务的场景。
限制与说明
vLLM 是社区项目，开发与测试的计算资源由支持组织提供，并通过 GitHub 和 OpenCollective 接受捐赠以支持开发、维护和采用。关于具体支持模型列表、性能基准细节、平台兼容范围及最新版本变更等信息，资料中未完整提供，建议查阅官方文档和路线图。
