用途
本技能用于在 Kubernetes 集群中运行 GPU 加速的 AI 推理与训练工作负载，目标是构建具备弹性且成本可控的生产级 GPU 集群。适用场景包括：为 AI 推理或训练设置 GPU 节点池、配置 NVIDIA 设备插件与 GPU Operator、通过 MIG 分区在多个工作负载间共享 GPU、构建 GPU 感知的自动扩缩容策略、使用 DCGM 与 Prometheus 监控 GPU 健康状态，以及排查 GPU 调度、驱动或显存不足（OOM）问题。
主要能力
- GPU Operator 安装：通过 Helm 安装 NVIDIA GPU Operator，可启用驱动、工具包、设备插件、DCGM Exporter、MIG Manager 和节点状态导出器等组件，并验证安装结果。
- 独立设备插件部署：在不使用 GPU Operator 时，以 DaemonSet 方式直接部署 NVIDIA 设备插件。
- MIG 分区：通过 ConfigMap 定义 MIG 配置（如 7 个 1g.10gb 小实例、3 个 2g.20gb 中实例、混合配置或完全禁用），为节点打标签应用配置，并在 Pod 中按
nvidia.com/mig-1g.10gb等资源名请求切片。 - GPU 时间切片：针对不支持 MIG 的 GPU（如 A10、L4），通过 ConfigMap 配置时间切片，使单块物理 GPU 呈现为多个虚拟 GPU。
- DCGM 监控与告警：提供 ServiceMonitor 配置及关键 DCGM 指标告警规则，覆盖温度过高、显存压力、ECC 错误、Xid 错误、利用率过低和驱动版本不一致等。
- GPU 节点池与调度：通过节点标签、污点与容忍、节点选择器、Pod 反亲和性等实现按 GPU 类型调度，并区分延迟敏感的推理与批量训练。
- GPU 自动扩缩容：提供基于 GPU 利用率和推理队列深度的 HPA 配置，以及集群自动扩缩容的 GPU 节点池配置示例。
- 成本优化与排障：给出 MIG 切片、错峰批处理、低成本模型分层、竞价实例、利用率监控等成本优化建议，以及 Pod Pending、CUDA OOM、DCGM 指标缺失、驱动不匹配、GPU 未检测、时间切片失效、ECC 错误增长等问题的排查对照表。
使用方式
资料以命令与 YAML 清单形式给出操作步骤：先通过 Helm 添加 NVIDIA 仓库并安装 GPU Operator，或部署独立设备插件；随后按需应用 MIG 或时间切片 ConfigMap 并打标签或补丁；再配置 DCGM ServiceMonitor 与告警规则；最后通过节点标签、污点、容忍和 HPA 等实现调度与扩缩容。所有版本、配置文件和指标均为历史示例，需核对当前 GPU/驱动/CUDA/Kubernetes/Operator 兼容性矩阵及实际支持的 MIG 配置文件。
适用场景
适用于在 Kubernetes 上部署 AI 推理微服务、中型模型服务、大模型训练等需要 GPU 资源的场景，尤其适合需要多工作负载共享 GPU、按 GPU 类型调度、监控 GPU 健康并控制成本的团队。
限制
- 基础设施命令可能中断服务：变更状态前需确认目标主机与范围，并准备备份或快照。
- MIG 重配置、节点排空和驱动变更会中断工作负载，需要授权的维护范围、容量和经过测试的恢复方案。
- 时间切片仅共享执行时间，不具备 MIG 式的显存与故障隔离，也不会增加物理容量。
- HPA 需要已安装的自定义指标适配器并正确映射每 Pod 指标；自动扩缩容 ConfigMap 为概念性输入，并非通用消费的 API，需通过实际安装的发行版接入受支持的标志与设置。
- 节点片段仅说明现有命名节点上的标签与污点，不代表可自动供应的 GPU 容量。
- 所有指标名称、标签和类型需与实际导出器输出核对，不得仅凭名称推断计数器。
- 本资料为纯文档导入，未捆绑上游脚本与模板。