用途：在 EKS 上设计、部署并调优 vLLM v0.18.2 推理服务，适用于将特定模型（如 Llama 3.3 70B、Qwen3 32B、DeepSeek-V3）部署到 EKS、调优吞吐与延迟、为单一 base 模型挂载 Multi-LoRA 适配器，以及启用 FP8 KV Cache、Chunked Prefill 等新特性。不适用于需要分布式推理（Disaggregated Prefill/Decode）的超大流量场景（建议 llm-d）、预训练流水线（属 SageMaker/KubeRay/SkyPilot）以及 MoE 专用优化（需 Expert Parallel 配置）。
主要能力：按“模型权重+非 torch 内存+激活峰值+KV 缓存×批大小”估算 GPU 显存；选择 TP、PP、EP、DP 并行策略；编写 Helm values（image 为 vllm/vllm-openai:v0.18.2，含 --tensor-parallel-size、--gpu-memory-utilization、--max-model-len、--enable-chunked-prefill、--enable-prefix-caching、--kv-cache-dtype=fp8、--enable-lora、--max-loras 等参数）；部署验证并通过 /v1/models 与 /v1/chat/completions 自测；配置 HPA 与 PodMonitor；用 benchmark_serving.py 采集 p50/p95/p99 延迟、吞吐与 GPU 利用率。
必要用法：前置条件为 EKS 集群具备正常 GPU NodePool、GPU Operator、DCGM，Hugging Face Token 已存 Secrets Manager 或权重已复制到 S3，且已部署 Prometheus 与 OTel Collector。部署命令：helm upgrade --install vllm-llama3 vllm-project/vllm --namespace inference --create-namespace -f values.yaml --version 0.18.2，随后 kubectl 查看 rollout，并 curl http://localhost:8000/v1/models 验证。
限制：gpu-memory-utilization 建议不超过 0.92，过高有 OOM 风险；不得在未调整 --max-model-len 的情况下放行长提示，否则 KV 缓存暴涨；TP 必须与 GPU 数一致，否则启动失败；v0.6.x 等旧版本不支持 Chunked Prefill 与 FP8 KV。更详细的内部参考、模型服务与 llm-d 资料以官方文档为准；具体收费、价格与平台支持情况暂未提供。