gpu-server-management

用途\n该技能面向 NVIDIA GPU 服务器的准备、配置与运行监控，适用于为 LLM 推理或模型训练搭建新 GPU 服务器、安装或升级 NVIDIA 驱动与 CUDA 工具包、为 GPU 工作负载配置 Docker（NVIDIA Container Toolkit）、在 A100/H100 上使用 MIG 做多租户分区、排查 GPU 错误、驱动问题和热降频等场景。\n\n前提条件\n推荐 Ubuntu 22.04 LTS，也支持 RHEL 8/9；需要 NVIDIA GPU（推荐 A10G、A100、H100、RTX 4090 或 L40S）、root 或 sudo 权限，以及用于下载软件包的网络访问。\n\n主要能力\n- 驱动与运行时：添加 NVIDIA 容器工具包仓库，安装驱动与 CUDA 工具包，安装 nvidia-container-toolkit 并配置 Docker 运行时，然后用 nvidia-smi、nvcc 和容器内 nvidia-smi 验证。资料特别提示：不要在默认安装步骤中清除现有 GPU 栈，卸载驱动需要维护窗口和恢复计划；安装版本应依据当前兼容性矩阵选择，而不是沿用示例版本。\n- 安装后配置：启用持久化模式以降低驱动初始化延迟，设置功耗上限以降低推理服务器的发热与噪音；ECC 默认保留，变更需按工作负载评估完整性并走维护窗口；用 nvidia-smi topo -m 查看 NVLink 拓扑。\n- 健康监控：用 watch nvidia-smi 实时观察，按指定字段查询温度、利用率、显存、功耗与时钟；使用 DCGM 做生产级监控（dcgmi discovery、快速与完整诊断）；通过 dmesg 与 ECC 查询检查 XID 错误。\n- Prometheus 指标：以容器方式部署 DCGM Exporter，暴露 GPU 利用率、内存带宽利用率、帧缓冲显存、SM 时钟、温度、功耗和 XID 错误计数等关键指标。\n- MIG 分区（A100/H100）：启用 MIG 模式并重启 persistenced，列出可用配置（如 1g.10gb、2g.20gb、3g.40gb、7g.80gb），按 GPU 实际报告的配置与放置创建实例，在 Docker 中指定 MIG 设备，并给出删除实例与关闭 MIG 的步骤。\n- 内核与 OS 调优：提高文件描述符上限，关闭透明大页以减少延迟抖动；持久化配置需准备经过评审的 systemd 单元或 drop-in，保留原启动配置，不要覆盖 /etc/rc.local；调整 PCIe 性能相关设置。\n- 多 GPU 拓扑：用 nvidia-smi topo -m 查看 NVLink 与 PCIe 拓扑，并说明 NV# 表示绑定 NVLink 数量而非代际、PHB 为 PCIe 总线（张量并行训练应避免）、PIX 为同一 PCIe 交换机；可用 p2pBandwidthLatencyTest 测试 GPU 间带宽。\n\n常见问题\n资料列出驱动未安装导致 nvidia-smi 找不到、CUDA/驱动版本不匹配（应查兼容性矩阵）、温度超过 85°C、XID 79 硬件错误（运行完整诊断，可能需更换 GPU）、容器内打不开设备（未配置容器工具包）、PCIe 带宽偏低等，并给出对应处理方向。\n\n最佳实践\n始终启用持久化模式；持续关注 XID 错误，持续出现 79/94 提示硬件故障；训练优先使用 NVLink 互联 GPU，推理通常 PCIe 足够；为温度超过 80°C 与功耗接近 TDP 设置 DCGM 告警；多租户推理用 MIG 隔离模型。\n\n使用方式与限制\n该技能以操作指南形式提供，不附带上游脚本与模板。基础设施命令可能中断服务，执行前应确认目标主机与范围，并准备备份或快照；功耗、时钟、透明大页与 MIG 变更会打断运行中的任务，应先核实设备 ID、受支持的配置与工作负载，仅应用已批准的设置；nvidia-smi topo -m 只观察拓扑，不启用 P2P；特权安装前应审查并固定仓库密钥、软件包与容器摘要，历史包地址与版本不构成当前兼容性保证。相关技能包括 vllm-server、llm-fine-tuning、linux-hardening 与 prometheus-grafana。