SuperAPI AI 工具集

hyperpod-node-debugger

测试与质量

查看项目

更新于 10-16 05:00

技能介绍

用途:诊断并修复 HyperPod 集群(EKS 或 Slurm)的单个节点问题,包括节点不健康、无响应、卡死或需要替换,覆盖 EFA、VPC、容量、生命周期脚本、硬件/自动修复、GPU、Slurm、资源耗尽、配置、SSM 访问、日志收集、容器运行时、内核、CNI 等场景。

主要能力:提供只读排查脚本 scripts/triage-cluster.sh 及辅助脚本 check-efa-sg.sh、check-node-reachability.sh、check-vpc-config.sh;一次排查收集集群状态、事件、节点健康、VPC/SG、CloudWatch、SSM、节点内资源检查与 Slurm 映射。结果以 [PASS]/[FAIL]/[WARN]/[INFO] 标注,并指向 references/node-diagnostics-detail.md 对应章节。

使用方式:收集集群名、区域、实例 ID 与错误字符串后运行 bash scripts/triage-cluster.sh --cluster <CLUSTER_NAME_OR_ARN> --region <REGION>,可用 --node <INSTANCE_ID> 聚焦单节点。对每个问题给出根因、命令与影响范围;所有变更状态的操作仅作为建议命令,需用户自行执行并确认。

操作策略:先排查、再重启、最后替换;替换会销毁根卷与从卷,且不支持 Slurm 控制器节点。建议变更集群/VPC/SG/subnet/EKS 配置前,先确认是否由 IaC(CloudFormation、CDK、Terraform、Pulumi)管理,若为是需先在 IaC 源中修改再走流水线。

前置条件:aws CLI v2、python3、bash 4+、kubectl(可选)、session-manager-plugin、unbuffer(可选)。默认区域必填,事件窗口最多 500 条,节点上限 20,000,SSM 探测每节点 180 秒。

限制:仅作只读诊断,修复命令需用户执行;不直接提供 SSH,需经 SSM;部分检查依赖 kubectl 或 SSM 插件,缺失时会被跳过;集群超过 20,000 节点会截断并告警。