用途：vLLM 用于部署生产级 LLM API、优化推理延迟与吞吐，或在 GPU 显存有限时服务大模型。支持 OpenAI 兼容端点、量化（GPTQ/AWQ/FP8）和张量并行。
主要能力：通过 PagedAttention（基于块的 KV 缓存）和连续批处理（混合 prefill/decode 请求）实现高吞吐；提供离线批量推理与 OpenAI 兼容服务器；支持前缀缓存、分块预填充、投机解码、Prometheus 指标。
安装与基本用法：pip install vllm。离线推理示例：from vllm import LLM, SamplingParams；llm = LLM(model="meta-llama/Llama-3-8B-Instruct")；sampling = SamplingParams(temperature=0.7, max_tokens=256)；outputs = llm.generate(["Explain quantum computing"], sampling)。启动 OpenAI 兼容服务：vllm serve meta-llama/Llama-3-8B-Instruct，默认端口 8000，可用 OpenAI SDK 以 base_url='http://localhost:8000/v1'、api_key='EMPTY' 调用。
常见配置：单卡 7B-13B 可用 --gpu-memory-utilization 0.9 --max-model-len 8192；30B-70B 可用 --tensor-parallel-size 4 --quantization awq；生产可加 --enable-prefix-caching --enable-metrics --metrics-port 9090 --host 0.0.0.0。Docker 部署：docker run --gpus all -p 8000:8000 vllm/vllm-openai:latest --model meta-llama/Llama-3-8B-Instruct。
适用场景：生产 LLM API（100+ req/sec）、OpenAI 兼容端点、显存受限但需大模型、多用户聊天与助手、低延迟高吞吐需求。
限制与注意：显存不足可降低 --gpu-memory-utilization 或 --max-model-len，或用量化；TTFT 高可启用前缀缓存或分块预填充；模型未找到可用 --trust-remote-code；吞吐低可增大 --max-num-seqs；张量并行建议使用 2 的幂次 GPU 数。硬件参考：7B-13B 需 1x A10(24GB) 或 A100(40GB)；30B-40B 需 2x A100(40GB)；70B+ 需 4x A100(40GB) 或 2x A100(80GB) 并配合 AWQ/GPTQ。支持 NVIDIA（主要）、AMD ROCm、Intel GPU、TPU。官方文档 https://docs.vllm.ai，GitHub https://github.com/vllm-project/vllm。