用途:面向 DGX Station GB300,按步骤排查常见故障,覆盖 CUDA 崩溃、选错 GPU、vLLM/SGLang 容器缺陷、MIG 状态、NVLink/Fabric Manager、Vulkan、HuggingFace 令牌与端口占用等问题。
主要能力:先采集系统状态,再按症状匹配已知问题并给出修复命令。
使用方式:
- 采集状态:运行 nvidia-smi 查看 GPU 状态;用 nvidia-smi --query-gpu=index,name,memory.used,memory.total --format=csv,noheader 列出设备索引;查询驱动版本;检查 MIG 模式(nvidia-smi -i 1 -q)、Fabric Manager(systemctl is-active nvidia-fabricmanager)、GPU 进程(sudo fuser -v /dev/nvidia*)与使用 GPU 的 Docker 容器。
- 匹配已知问题:如 --gpus all 引发 CUDA 崩溃时,因 GB300(ATS)与 RTX PRO(非 ATS)不能共享 CUDA 上下文,改用 --gpus '"device=N"' 仅指向 GB300;模型跑错 GPU 时核对设备索引并修正 --gpus;vLLM 崩溃或 FlashInfer 缓冲区溢出时改用 nvcr.io/nvidia/vllm:26.01-py3;SGLang CUDA 报错需容器标签为 cu130;显存充足仍 OOM 时减小上下文长度或降低 --gpu-memory-utilization / --mem-fraction-static;MIG 提示被占用需先停掉 GPU 负载;NVLink 报错后启动 nvidia-fabricmanager;X server 崩溃可用备份 xorg.conf 恢复;Vulkan 初始化失败需将 CUDA 与 Vulkan 分离进程,Vulkan 应用前加 _GL_DeviceModalityPreference=2;HuggingFace 401 用 -e HF_TOKEN="hf..." 内联传令牌;端口占用用 lsof -i :<PORT> 排查并换端口。
- 报告结论:说明问题、根因、修复命令及验证方式。
适用场景:DGX Station GB300 上运行容器化推理与 GPU 工作负载时的日常排障。
限制:部分版本、价格、平台与效果信息暂未提供;命令涉及 sudo、MIG 与 X 配置修改,执行前需确认权限与影响。