vllm
AI开发平台vLLM 是一个面向大语言模型(LLM)的高吞吐、内存高效推理与服务引擎,最初由加州大学伯克利分校 Sky Computing Lab 开发,现由来自 2000 多名贡献者的开源社区共同维护。它通过 PagedAttention 高效管理注意力键值内存,并支持连续批处理、分块预填充、前缀缓存等特性,显著提升服务吞吐量。vLLM 兼容 Hugging Face 上 200 多种模型架构,支持多种量化方案、优化注意力与 GEMM/MoE 内核、推测解码、分布式并行推理,并提供 OpenAI 兼容 API 服务器、Anthropic Messages API 与 gRPC 支持。它可运行在 NVIDIA、AMD、Intel GPU 及 x86/ARM/PowerPC CPU 上,并支持多种硬件插件。