SuperAPI AI 工具集

hyperpod-nccl

部署与运维

查看项目

更新于 10-15 19:58

技能介绍

用途:诊断 SageMaker HyperPod(EKS 与 Slurm)上的 NCCL 故障,覆盖训练挂起、AllReduce/集合通信超时、EFA 配置与回退、NCCL 版本不一致、容器/GPU OOM、RDMA memlock、MASTER_ADDR DNS、NVLS/PXN 拓扑调优等。

主要能力:scripts/nccl-diagnose.sh 通过 AWS API、kubectl、SSM 读取状态,输出 [PASS]/[FAIL]/[WARN]/[INFO],每条 [FAIL] 指向 references 下对应文档章节。支持按集群、区域、命名空间/作业、编排器、采样节点数或指定节点运行。

使用方式:先认证 kubectl(EKS 用 aws eks update-kubeconfig),再运行 bash scripts/nccl-diagnose.sh --cluster <NAME> --region <REGION>,可加 --namespace/--job/--orchestrator/--sample-nodes/--node。需 aws CLI v2.13+、jq、python3、bash 4.2+、unbuffer、kubectl、session-manager-plugin。

限制:仅只读诊断,不执行任何改变集群、节点或工作负载状态的命令;破坏性操作需以建议命令形式交由用户执行。list-cluster-events 不含 NCCL 超时、GPU XID/ECC 或每 Pod 训练信号,需从 Pod 日志、CloudWatch、SSM 探针获取。SSM 节点探测串行,每节点 180 秒,采样 10 节点约需 30 分钟。

适用场景:HyperPod 上 NCCL/EFA/集合通信故障排查、升级 AWS Support 前的诊断包准备。集群创建、节点级问题、Trainium/Inferentia 通信等应委派其他技能。