用途：面向需要规模化部署开源大模型推理服务的场景，使用 vLLM 搭建生产级 LLM 推理服务器，利用 PagedAttention 与连续批处理提升吞吐。适用对象包括需要自建 OpenAI 兼容接口、优化生产流量下吞吐与延迟、多 GPU 张量或流水线并行推理、以及用量化降低显存占用的用户。
前提条件：NVIDIA GPU 与 CUDA 12.1+（生产推荐 A100/H100）；Docker 或 Python 3.9+ 与 pip；70B 模型需 40GB+ 显存，7B 需 8GB+；Docker GPU 透传需 nvidia-container-toolkit。
主要能力：支持 Llama、Mistral、Qwen、Gemma 等模型；提供 OpenAI 兼容 API；支持张量并行（--tensor-parallel-size）、AWQ/GPTQ/FP8 量化、结构化输出与工具调用（--enable-auto-tool-choice、--tool-call-parser、--guided-decoding-backend）、LoRA 适配器（--enable-lora、--lora-modules、--max-lora-rank）；可调节 --max-num-seqs、--max-num-batched-tokens、--gpu-memory-utilization、--swap-space 等进行性能调优；提供 vllm bench 吞吐基准与 Prometheus /metrics 指标监控。
使用方式：pip install vllm 后执行 vllm serve <模型> --host 0.0.0.0 --port 8000 --api-key <key>；也可用 docker run --runtime nvidia --gpus all 启动 vllm/vllm-openai:latest，或用 Docker Compose 配合 NVIDIA_VISIBLE_DEVICES、模型缓存卷、healthcheck 部署。调用示例：curl http://localhost:8000/v1/chat/completions。生产建议设置 HF_HUB_OFFLINE=1、用 --revision 固定版本。
限制：需自备 GPU 与显存资源，C 类问题包括 CUDA 显存不足、冷启动慢、吞吐偏低、KV 缓存满、tokenizer 不匹配等，需通过量化、预下载模型、调整并发数或上下文长度、指定 tokenizer 解决。具体收费与价格暂未提供。