vLLM 是用于大语言模型（LLM）推理与服务的高性能工具，核心是 PagedAttention（分块式 KV 缓存）和连续批处理（混合 prefill/decode 请求）。资料称其通过这两项机制达到标准 transformers 约 24 倍的吞吐量。
安装方式为 pip install vllm。
主要能力与使用方式：
一、离线推理。通过 from vllm import LLM, SamplingParams 创建 LLM 实例并设置模型，配置 SamplingParams（如 temperature、max_tokens），调用 llm.generate(prompts, sampling) 批量生成。可设置 tensor_parallel_size、gpu_memory_utilization、max_model_len，以及 temperature、top_p、max_tokens、stop 等采样参数。
二、OpenAI 兼容服务端。使用 vllm serve <模型名> 启动服务，默认提供 http://localhost:8000/v1，可用 OpenAI SDK 以 api_key='EMPTY' 访问 chat.completions。服务端可配置 --gpu-memory-utilization、--max-model-len、--port、--host、--tensor-parallel-size、--quantization、--enable-prefix-caching、--enable-metrics、--metrics-port、--enable-chunked-prefill、--max-num-seqs、--trust-remote-code、--speculative-model 等参数。
三、生产部署工作流。资料给出部署清单：配置服务端参数、限流测试、启用监控、部署生产、验证性能指标。监控方面，vLLM 在指标端口（示例 9090）暴露 Prometheus 指标，可关注 vllm:time_to_first_token_seconds、vllm:num_requests_running、vllm:gpu_cache_usage_perc。部署可使用 Docker 镜像 vllm/vllm-openai:latest，通过 docker run --gpus all 映射端口运行。资料建议验证 TTFT 小于 500ms、吞吐量达到目标、GPU 利用率高于 80%、日志无 OOM。
四、批量推理工作流。从文件读取 prompts，配置 LLM 引擎与 SamplingParams，一次调用 generate 完成批处理（内部自动分批），再将 prompt、生成文本和 token 数写入 JSONL 结果文件。
五、量化模型服务。资料列出 AWQ（适合 70B 模型、精度损失小）、GPTQ（模型支持广、压缩较好）、FP8（在 H100 上最快）三种方法，可使用 HuggingFace 上的预量化模型并以 --quantization 启动；示例称 70B 模型约占用 40GB 显存。
适用场景：部署高并发生产 LLM API（100+ req/sec）、提供 OpenAI 兼容端点、多用户聊天机器人/助手、显存有限但需运行大模型、需要低延迟高吞吐。资料同时指出替代方案：llama.cpp 适合 CPU/边缘单用户，HuggingFace transformers 适合研究原型，TensorRT-LLM 适合 NVIDIA 极致性能，Text-Generation-Inference 适合已在 HuggingFace 生态的场景。
限制与常见问题：显存不足时可降低 gpu-memory-utilization、max-model-len 或使用量化；TTFT 慢可启用前缀缓存与分块 prefill；模型未找到可用 --trust-remote-code；吞吐低可增大 --max-num-seqs；张量并行建议使用 2 的幂数量的 GPU。硬件参考：7B-13B 用 1 张 A10(24GB) 或 A100(40GB)；30B-40B 用 2 张 A100(40GB) 张量并行；70B+ 用 4 张 A100(40GB) 或 2 张 A100(80GB) 并配合 AWQ/GPTQ。支持平台为 NVIDIA（主要）、AMD ROCm、Intel GPU、TPU。
资源：官方文档 https://docs.vllm.ai，GitHub https://github.com/vllm-project/vllm，论文为 SOSP 2023 的 PagedAttention 论文，社区 https://discuss.vllm.ai。更多服务部署、优化、量化与故障排查内容见对应 references 文档（资料提及 server-deployment.md、optimization.md、quantization.md、troubleshooting.md）。未提供收费与价格信息。