GPU Kubernetes Operations 是一套面向生产 AI 工作负载的 GPU 集群运维技能，目标是运行稳定且成本可控的 GPU 集群。
一、适用场景 在以下情况下使用本技能：为 AI 推理或训练在 Kubernetes 中搭建 GPU 节点池；配置 NVIDIA 设备插件与 GPU Operator；实现 MIG 分区以在多个工作负载间共享 GPU；构建感知 GPU 的自动扩缩容策略；使用 DCGM 与 Prometheus 监控 GPU 健康状况；排查 GPU 调度、驱动或 OOM 问题。
二、前置条件 需要 Kubernetes 1.28+ 且具备 GPU 节点的集群；NVIDIA GPU（A10、L4、A100、H100 或类似型号）；节点上安装 NVIDIA 驱动（建议 535+）；用于安装 operator 与插件的 Helm 3；用于指标采集的 Prometheus 栈。
三、GPU Operator 安装 GPU Operator 可自动化部署驱动、工具包、设备插件与 DCGM。技能给出添加 NVIDIA Helm 仓库、安装 gpu-operator（命名空间 gpu-operator，启用 driver、toolkit、devicePlugin、dcgmExporter、migManager、nodeStatusExporter，版本 v24.3.0）以及验证安装的命令，包括查看 Pods 和查询节点可分配 GPU 数量。若不用 GPU Operator，也可直接部署独立的 NVIDIA 设备插件 DaemonSet（镜像 nvcr.io/nvidia/k8s-device-plugin:v0.15.0，含容忍度、环境变量与卷挂载配置）。
四、MIG 分区与时间片 MIG 允许把单张 A100 或 H100 拆分为相互隔离的 GPU 实例。技能提供 MIG Manager 的 ConfigMap 示例，包含全 1g.10gb（7 个）、全 2g.20gb（3 个）、混合（1 个 3g.40gb + 4 个 1g.10gb）以及全禁用（训练用整卡）等配置，并给出给节点打标签应用配置、验证 MIG 实例和查看可分配资源的命令。Pod 中通过 nvidia.com/mig-1g.10gb 等资源名请求 MIG 切片。对于不支持 MIG 的 GPU（A10、L4），可用时间片共享：通过 time-slicing-config ConfigMap 与 clusterpolicy 补丁配置，使每张物理 GPU 呈现为 4 张虚拟 GPU。
五、DCGM 监控与告警 技能给出 dcgm-exporter 的 ServiceMonitor 清单（抓取间隔 15s），以及一组告警规则示例：GPU 温度过高（>85C）、显存压力（使用/空闲 > 0.90）、ECC 双位错误、Xid 错误、GPU 利用率偏低（<10 持续 30 分钟）以及驱动版本不一致检测。
六、节点池与调度 包含 GPU 节点池标签（gpu-type、gpu-memory、gpu-mig-capable、node-role）与污点（nvidia.com/gpu:NoSchedule），以及带容忍度、nodeSelector、Pod 反亲和和 GPU 资源请求/限制的推理 Deployment 示例。调度模式建议：按 GPU 型号使用节点亲和；将延迟敏感的推理与批量训练分离；用反亲和固定模型副本以提升可用性；为故障转移和滚动更新预留余量。
七、自动扩缩容 给出基于 autoscaling/v2 的 HPA 示例，以 DCGM_FI_DEV_GPU_UTIL（平均 75）与 inference_queue_depth（平均 10）为指标，minReplicas 2、maxReplicas 8，并配置扩缩容行为窗口。另附 Cluster Autoscaler 的 GPU 节点池配置示例（如 GPU 总量 min 2、max 16）。
八、成本优化 建议对较小的推理服务优先使用 MIG 切片；在非高峰时段调度批处理任务；将低优先级流量路由到更便宜的模型层级；训练负载使用抢占式/可抢占实例；持续监控 GPU 利用率并对部署进行合理规格调整。
九、故障排查 技能以表格列出常见症状、检查项与修复方法：Pod 卡在 Pending（检查可分配 GPU 与污点/容忍）、推理时 CUDA OOM（减小批大小、量化或使用 MIG 切片）、DCGM 指标缺失（检查 ServiceMonitor 标签与 exporter）、升级后驱动不一致（cordon、drain、升级驱动、uncordon）、GPU 未被识别（检查设备插件日志与 NVIDIA 容器工具包）、时间片不生效（修改配置后重启设备插件 Pod）、ECC 错误增长（检查 ECC 并安排节点下线与硬件更换）。
十、相关技能 文中还列出 llm-inference-scaling、model-serving-kubernetes、gpu-server-management、multi-tenant-llm-hosting、llm-cost-optimization 等相关技能。具体收费、价格与平台支持信息暂未提供。