SuperAPI AI 工具集

hyperpod-cluster-debugger

测试与质量

查看项目

更新于 10-15 19:58

技能介绍

用途:诊断并修复 SageMaker HyperPod(EKS 或 Slurm)集群级问题,包括创建/部署失败、EFA 健康检查、生命周期脚本、EKS 访问、SSM 连接、节点替换、CloudFormation 错误、AMI 更新、悬空节点与 Autoscaler 兼容性等。

主要能力:提供只读诊断脚本 scripts/diagnose-cluster.sh,通过 AWS API(Slurm 控制器健康检查用 SSM)收集状态,按 [PASS]/[FAIL]/[WARN]/[INFO] 输出,[FAIL] 附带 references/ 对应章节指引;支持 --validate 预检模式,在创建前校验安全组、子网、IAM、VPC 端点、S3 生命周期脚本及按可用区容量。

使用方式:诊断现有集群运行 bash scripts/diagnose-cluster.sh --cluster <CLUSTER_NAME_OR_ARN> --region <REGION>;预检运行 bash scripts/diagnose-cluster.sh --validate --region <REGION> --sg-ids <sg-1,sg-2> --subnet-ids <sub-1,sub-2> [--iam-role <role-arn>] [--s3-uri s3://<BUCKET>/path/] [--instance-type ml.p5.48xlarge]。需 aws CLI v2.13+、jq、python3、bash 4.2+,EKS 检查需 kubectl,Slurm 控制器健康检查需 session-manager-plugin。

限制:运行策略要求只做只读诊断,任何改变集群、节点或工作负载状态的命令须以“Suggested command”形式交由客户自行执行;破坏性顺序为调查→重启→替换,替换会销毁根卷和二级卷且不支持 Slurm 控制器节点。若资源由 IaC 管理,修复应回到 IaC,直接 CLI 操作会产生漂移。部分场景(如 Autoscaler 兼容性)无官方变通方案,需升级 AWS Support。具体 IAM 策略见 references/iam-permissions.md。