用途:本技能用于在 NVIDIA DGX Station GB300 上部署并验证 SGLang 推理服务器,提供经确认的容器配置与调优参数。
主要能力:使用 lmsysorg/sglang:latest-cu130 镜像(cu130 标签为 Blackwell SM103 支持所必需);默认启用 RadixAttention 自动复用共享前缀的 KV 缓存,无需额外参数;支持通过 response_format.json_schema 获得结构化 JSON 输出;可选用 --chunked-prefill-size 分块预填充以降低首 token 延迟。
使用方式:先用 nvidia-smi --query-gpu=index,name --format=csv,noheader 查找 GB300 设备索引(通常为设备 1),使用该索引指定 --gpus,勿用 --gpus all,以免混合一致性导致 CUDA 失败。随后选择模型(可选 Qwen/Qwen3-8B、Qwen/Qwen3-32B、meta-llama/Llama-3.1-70B-Instruct),拉取镜像并运行容器,通过 -e HF_TOKEN 传入令牌,映射端口 30000 并挂载 Hugging Face 缓存目录。用 docker logs -f sglang-server 查看日志直到就绪,再用 curl 请求 /v1/chat/completions 测试。停止方式为 docker stop sglang-server && docker rm sglang-server。
调优参数默认值与建议:--context-length 默认 32768(智能体负载 32768-65536,吞吐负载 8192-16384);--mem-fraction-static 默认 0.85(智能体 0.80-0.85,吞吐 0.85-0.88);--chunked-prefill-size 默认关闭(智能体 4096-8192,吞吐 8192);--enable-metrics 默认关闭(吞吐负载推荐开启)。
限制:首次启动需下载模型并编译内核,耗时较长,后续启动更快;需要用户提供 HF_TOKEN;具体平台与价格信息暂未提供。