用途：vLLM 用于部署生产级 LLM API、优化推理延迟与吞吐，或在显存受限时服务大模型，适合多用户聊天/助手类应用。
主要能力：基于 PagedAttention 的块式 KV 缓存与连续批处理（混合 prefill/decode），官方称吞吐量可达标准 transformers 的 24 倍；支持 OpenAI 兼容端点、张量并行以及 GPTQ/AWQ/FP8 量化；暴露 Prometheus 指标（/metrics），可启用前缀缓存与分块预填充。
安装与用法：pip install vllm。离线推理用 from vllm import LLM, SamplingParams 构造 LLM 并调用 llm.generate()，由框架内部自动批处理。启动 OpenAI 兼容服务：vllm serve meta-llama/Meta-Llama-3-8B-Instruct，可用 OpenAI SDK 指向 http://localhost:8000/v1（api_key='EMPTY'）调用。常用参数包括 --gpu-memory-utilization、--max-model-len、--port、--host、--tensor-parallel-size、--quantization、--enable-prefix-caching、--enable-chunked-prefill、--max-num-seqs、--trust-remote-code 和 --speculative-config。
适用场景：生产 LLM API（100+ req/sec）、量化模型服务、离线批量推理、多用户应用。硬件按模型规模配置，支持 NVIDIA、AMD ROCm、Intel GPU、TPU 等平台。
限制与排障：显存不足可降低 gpu-memory-utilization、max-model-len 或启用量化；TTFT 高可启用前缀缓存/分块预填充；吞吐低可提高 max-num-seqs 并确认 GPU 利用率>80%；张量并行建议使用 2 的幂次卡数；自定义模型需 --trust-remote-code。替代方案包括 llama.cpp（CPU/边缘）、HuggingFace transformers（研究）、TensorRT-LLM、Text-Generation-Inference。更多部署、优化、量化与排障细节见对应 references 文档。