SuperAPI AI 工具集

aiml-gpu-training-cluster-investigation

通用与其它

查看项目

更新于 10-15 17:23

技能介绍

该技能面向 AWS 上的 GPU 训练或推理集群,覆盖 SageMaker HyperPod(Slurm 或 EKS)、AWS ParallelCluster 以及自管 EC2 或 EKS GPU 实例。用途有三种模式:集群出现失败、挂起、变慢或掉节点时做事故调查;回答“是否有 GPU 错误”“日志是否可信”时做覆盖度审计;回答“集群能否支撑长任务”“Capacity Block 即将到期”时做上线前检查。

主要能力包括:按集群名称子串发现日志组并逐节点、逐小时验证 GPU 日志覆盖;构建节点清单与能力画像(GPU 数量、EFA、NVSwitch 等);用 CloudTrail 事件名区分重启与替换,保留节点身份线索;对每个节点给出 REPLACE、REBOOT、LEAVE ALONE、MONITOR 或 NOT OBSERVABLE 结论;区分已证实原因与待验证假设;检查 FSx、GPU 活动、EFA 等指标;在 HyperPod 的 NodeProvisioningMode 为 Continuous 时用 ListClusterEvents 获取不依赖日志代理的时间线;在预检模式中评分 P1 至 P16 检查项,并以 FAIL、RISK 优先呈现。

使用方式是调用技能并按其规则执行,很多步骤依赖 read_skill_resource 读取 references 下的参考文件,例如:read_skill_resource(skill_id="aiml-gpu-training-cluster-investigation", path="references/inventory-and-timeline.md")。规则要求证据收集必须为写出结论留出空间,缺少输入时使用默认值并标注假设;每个结论必须点名日志组与日志流、资源 ID,否则不可复核。

限制:只读,不重启、替换、更新或删除任何资源,也不读取训练数据、检查点或模型权重;HyperPod 节点对 DescribeInstances 不可见,HyperPod 系统指标不导出到 CloudWatch,因此其 GPU 活动在该处不可观测;当 NodeProvisioningMode 不是 Continuous 时 ListClusterEvents 不受支持;资料未提供具体收费标准、价格或平台支持范围。