GPU Server Management 是一套面向 AI 推理与训练工作负载的 NVIDIA GPU 服务器搭建、配置与监控技能。
用途 该技能适用于为新 GPU 服务器部署 LLM 推理或模型训练环境、安装或升级 NVIDIA 驱动与 CUDA 工具包、为 GPU 工作负载配置带 NVIDIA Container Toolkit 的 Docker、使用 MIG 对 A100/H100 进行多租户分区，以及排查 GPU 错误、驱动问题或热降频。
前提条件 文档给出的推荐环境为 Ubuntu 22.04 LTS 或 RHEL 8/9，推荐使用 NVIDIA GPU（A10G、A100、H100、RTX 4090 或 L40S），并要求拥有 root 或 sudo 权限以及用于下载软件包的网络访问。
主要能力
- 驱动与工具链安装：提供清除旧驱动、添加 NVIDIA 软件源、安装 nvidia-driver-560 与 cuda-toolkit-12-6、安装并配置 nvidia-container-toolkit，以及通过 nvidia-smi、nvcc 与 Docker 容器验证的命令。
- 安装后配置：启用持久化模式（nvidia-smi -pm 1）以降低驱动初始化延迟；设置功耗上限（如 350 瓦）以减少推理服务器的发热与噪音；在推理服务器上关闭 ECC（释放约 6% 显存，安全性降低，需重启）；通过 nvidia-smi topo -m 检查多 GPU NVLink 拓扑。
- GPU 健康监控：使用 watch nvidia-smi 实时监控；使用带 query-gpu 的 CSV 轮询获取温度、利用率、显存、功耗、时钟等详细指标；安装 datacenter-gpu-manager 并通过 dcgmi discovery 与 dcgmi diag 执行快速或完整诊断；通过 dmesg 检查 XID 错误与 nvidia-smi 查询 ECC 可纠正错误计数。
- Prometheus 指标：以 Docker 方式部署 DCGM Exporter，暴露 GPU 利用率、内存带宽利用率、帧缓冲内存使用、SM 时钟、温度、功耗与 XID 错误等指标。
- MIG 分区：启用 MIG 模式，列出可用配置（如 A100 80GB 的 1g.10gb、2g.20gb、3g.40gb、7g.80gb），创建 MIG 实例并在 Docker 中按实例使用，以及禁用 MIG 的步骤。
- 内核与 OS 调优：提高文件描述符上限、禁用透明大页以降低延迟抖动并通过 rc.local 或 systemd 单元持久化，以及设置 PCIe 性能模式。
- 多 GPU 拓扑检查：使用 nvidia-smi topo -m 判断 NVLink 与 PCIe 互联类型（NV4、NV2、PHB、PIX），并可用 p2pBandwidthLatencyTest 测试带宽。
常见问题 文档列出 nvidia-smi 命令未找到（驱动未安装）、驱动版本不匹配、GPU 温度超过 85°C、XID 79 错误、容器中无法打开设备（容器工具包未配置）以及 PCIe 带宽偏低等问题的现象、原因与修复方式。
最佳实践 始终启用持久化模式；监控 XID 错误，持续的 XID 79/94 通常表示硬件故障；训练使用 NVLink 互联的 GPU，推理使用 PCIe 通常足够；为温度超过 80°C 与功耗接近 TDP 设置 DCGM 告警；使用 MIG 实现多租户推理的 GPU 隔离。
相关技能 文档提到 vllm-server（GPU 上的 LLM 推理）、llm-fine-tuning（GPU 训练环境搭建）、linux-hardening（加固主机 OS）与 prometheus-grafana（指标看板）。具体收费、价格与授权信息暂未提供。