vllm-server

vLLM Server 是一套面向自托管大模型推理的部署与管理技能资料，基于 vLLM 推理引擎，目标是在生产环境中提供高吞吐、低延迟的 OpenAI 兼容 API 服务。

用途适用于规模化服务开源模型（如 Llama、Mistral、Qwen、Gemma）、为自托管模型构建 OpenAI 兼容端点、优化生产流量的吞吐与延迟、使用张量并行或流水线并行进行多 GPU 推理，以及部署量化模型以降低显存需求。资料同时提醒需固定并审查 vLLM 发行版、模型修订和容器摘要，并验证对应版本的 Python、CUDA 与硬件要求；文中版本、显存数字和模型/量化示例仅为历史示意，不构成适配保证。模型权重、激活值和 KV 缓存必须同时放得下。示例保持仅监听回环地址；远程服务需具备经批准的身份验证、TLS、配额和网络策略，示例密钥不可当作真实密钥使用。

前提条件需要带 CUDA 12.1+ 的 NVIDIA GPU（生产推荐 A100/H100），Docker 或 Python 3.9+ 与 pip；70B 模型需 40GB+ 显存，7B 模型需 8GB+；Docker GPU 直通需 nvidia-container-toolkit。

主要能力与使用方式安装：pip install vllm。启动服务使用 vllm serve 指定模型、host、port 与 api-key，并通过 curl 请求 /v1/chat/completions 测试。 Docker 部署：使用 vllm/vllm-openai 镜像，配合 --runtime nvidia、--gpus all、挂载 Hugging Face 缓存、--ipc=host 与端口映射。Docker Compose 示例包含环境变量、模型缓存卷、tensor-parallel-size、max-model-len、gpu-memory-utilization、api-key、健康检查与重启策略。并行与量化：通过 --tensor-parallel-size 将模型拆分到多卡；支持 AWQ、GPTQ、FP8 量化以降低显存。结构化输出与工具：可启用自动工具选择、工具调用解析器（如 llama3_json）与 guided decoding 后端（如 outlines）。 LoRA：通过 --enable-lora 与 --lora-modules 挂载多个适配器，并设置 max-lora-rank。性能调优：批处理场景可提高 max-num-seqs、max-num-batched-tokens、gpu-memory-utilization 并设置 swap-space；交互低延迟场景可降低并发并启用 --enforce-eager。基准测试：提供 run_batch 与 vllm bench throughput 示例。监控：通过 /metrics 获取 Prometheus 指标，关注运行请求数、KV 缓存使用率、生成吞吐、首 token 延迟和端到端延迟。

适用场景适合自托管模型 API 服务、多 GPU 推理、量化部署、LoRA 多适配器服务、批量吞吐测试和生产监控。

技能介绍