用途:把 vLLM 作为生产推理服务器来日常运维,包括部署、模型与引擎配置、OpenAI 兼容 API 服务、基准测试、连续批处理调优、GPU 操作以及升级回滚。该技能只负责 vLLM 本身;引擎选型、量化取舍、部署方案等属于 ml-engineering,llama.cpp 本地 GGUF 服务属于 llama-cpp。
主要能力:Docker 使用官方镜像 vllm/vllm-openai,需 GPU 访问、挂载 Hugging Face 缓存、发布 8000 端口并使用 --ipc=host;Kubernetes 使用 Deployment 加 nvidia.com/gpu 资源、模型缓存 PVC、/dev/shm 的 Memory emptyDir 及 /health 探针。模型配置涉及 --model、--revision、--served-model-name、--max-model-len、--quantization、--tensor-parallel-size、--pipeline-parallel-size、--gpu-memory-utilization、--kv-cache-dtype。API 端点包括 /health、/version、/v1/models、/load、/metrics、/v1/completions、/v1/chat/completions、/v1/embeddings、/v1/responses。基准测试使用 vllm bench serve 与 vllm bench throughput。批处理调优涉及 --max-num-seqs、--max-num-batched-tokens、--enable-chunked-prefill、--enable-prefix-caching、--performance-mode。
使用方式:先记录部署信息再调优;只读探测可直接进行,重启、改参数、扩缩容、升级等变更需明确人工指令并先确定回滚路径。附带 scripts/vllm-health 只读探测脚本,例如 scripts/vllm-health --url http://127.0.0.1:8000 --json,退出码 0 全部通过、1 有问题、2 用法错误、124 超时。每次变更前后都要在匹配条件下做基准测试。
适用场景:vLLM 生产推理服务器的部署、配置、观测、性能调优与故障排查。
限制:不涉及模型训练、微调、评估集设计、量化决策与引擎选型;不涉及 llama.cpp 栈;不涉及 Kubernetes/Docker 基础与 GPU 基础设施供给。不得在无人工指令下重启、重部署、扩缩容或升级;不得意外把未认证服务器暴露到回环之外;不得输出 HF token、.env 或完整服务器日志;不得跨不同条件比较基准数据。资料未提供具体收费与价格信息。