用途:在 NVIDIA DGX Station GB300 上部署并运行 vLLM 推理服务器,提供已验证的容器、GPU 指定与调优参数,适合需要本地托管大模型推理服务的场景。
主要能力:通过 nvcr.io/nvidia/vllm:26.01-py3 容器启动 vLLM,并在 8000 端口提供 OpenAI 兼容的 chat/completions 接口;支持指定 GB300 设备索引、挂载 HuggingFace 缓存、传入 HF_TOKEN 认证。
使用方式:先运行 nvidia-smi --query-gpu=index,name --format=csv,noheader 找到 GB300 设备索引(通常为 device 1),并使用该索引而非 --gpus all(混用会导致 CUDA 失败)。确认要服务的模型与 HF_TOKEN 后,先用 docker pull nvcr.io/nvidia/vllm:26.01-py3 拉取镜像,再以 --gpus '"device=<GB300_INDEX>"'、--ipc host、--ulimit memlock=-1、--ulimit stack=67108864、-p 8000:8000、-e HF_TOKEN="<TOKEN>" 与挂载 $HOME/.cache/huggingface/hub 的方式启动容器,并通过 vllm serve "<MODEL>"。用 docker logs -f vllm-server 等待 8000 端口就绪,再用 curl 请求 /v1/chat/completions 验证。停止命令:docker stop vllm-server && docker rm vllm-server。
调优参数:--max-model-len 默认 32768,智能体负载建议 32768-65536,吞吐负载 8192-16384;--gpu-memory-utilization 默认 0.9,智能体负载 0.85-0.90,吞吐负载 0.90-0.92;--enable-prefix-caching 默认关闭,可启用以复用多轮上下文;--max-num-seqs 默认,智能体负载 4-16 以降低延迟,吞吐负载 32+。
限制与注意:不要使用 25.10 版本容器,其在 DGX Station 上存在 FlashInfer 缓冲区溢出问题;HF_TOKEN 必须以 -e 内联传入,不能依赖 shell export;文中建议的模型仅供参考;其余硬件兼容范围、价格与性能数据暂未提供。