vLLM 是一个快速且易用的 LLM 推理与服务库，定位为面向所有人的简单、快速、低成本的 LLM 服务方案。项目最初在加州大学伯克利分校 Sky Computing Lab 开发，现已发展为最活跃的开源 AI 项目之一，由来自 2000 多名贡献者、众多学术机构与企业共同维护。
用途方面，vLLM 主要用于大语言模型的高吞吐推理与在线服务部署，适合需要高效利用 GPU/CPU 资源、支撑大量并发请求的场景。
主要能力包括：
- 高吞吐服务：具备业界领先的服务吞吐量。
- 内存管理：通过 PagedAttention 高效管理注意力键值内存。
- 批处理与缓存：支持连续批处理、分块预填充、前缀缓存。
- 模型执行：使用分段与完整 CUDA/HIP 图实现快速灵活的执行。
- 量化：支持 FP8、MXFP8/MXFP4、NVFP4、INT8、INT4、GPTQ/AWQ、GGUF、compressed-tensors、ModelOpt、TorchAO 等。
- 优化内核：包括 FlashAttention、FlashInfer、TRTLLM-GEN、FlashMLA、Triton 等注意力内核，以及使用 CUTLASS、TRTLLM-GEN、CuTeDSL 的 GEMM/MoE 内核。
- 推测解码：支持 n-gram、suffix、EAGLE、DFlash。
- 编译优化：使用 torch.compile 进行自动内核生成与图级变换。
- 分离式架构：支持 prefill、decode、encode 的分离部署。
使用方式方面，vLLM 可与 Hugging Face 模型无缝集成，支持并行采样、束搜索等多种解码算法，支持张量、流水线、数据、专家、上下文并行以实现分布式推理，支持流式输出，可使用 xgrammar 或 guidance 生成结构化输出，支持工具调用与推理解析器，提供 OpenAI 兼容 API 服务器以及 Anthropic Messages API 和 gRPC 支持，并支持稠密与 MoE 层的高效多 LoRA。安装可通过 uv（推荐）或 pip 进行，也可从源码构建用于开发。
适用场景包括：需要高吞吐 LLM 服务的生产环境、多模态模型推理、嵌入与检索模型部署、奖励与分类模型运行，以及分布式推理等。
硬件支持方面，vLLM 支持 NVIDIA GPU、AMD GPU、Intel GPU 以及 x86/ARM/PowerPC CPU，并可通过硬件插件支持 Google TPU、Intel Gaudi、IBM Spyre、Huawei Ascend、Rebellions NPU、Apple Silicon、MetaX GPU 等。
模型支持方面，vLLM 无缝支持 Hugging Face 上 200 多种模型架构，包括仅解码器 LLM（如 Llama、Qwen、Gemma）、混合专家 LLM（如 Mixtral、DeepSeek-V3、Qwen-MoE、GPT-OSS）、混合注意力与状态空间模型（如 Mamba、Qwen3.5）、多模态模型（如 LLaVA、Qwen-VL、Pixtral）、嵌入与检索模型（如 E5-Mistral、GTE、ColBERT）、奖励与分类模型（如 Qwen-Math）。
限制方面，资料未提供具体的性能上限、硬件最低配置要求或收费信息，暂未提供。
