SuperAPI AI 工具集

nemo-mbridge-resiliency

智能体与模型

查看项目

更新于 10-16 02:33

技能介绍

用途:为 Megatron Bridge 分布式训练提供弹性能力,减少故障、慢节点和抢占导致的训练中断。

主要能力:容错(仅 Slurm)支持作业内重启与失败重试,并可按 setup、step、checkpointing 等阶段设置超时;NVRx 掉队检测可比较各 rank 相对与个体性能并输出报告;抢占处理可在作业时限前发送信号并触发退出处理;重跑状态机(实验性)可校验结果、检测 NaN 与异常大 loss;进程内重启(实验性)支持 node 或 rank 粒度重启,配合软/硬超时与心跳;另含异步 checkpoint 保存与本地 checkpoint。

使用方式:容错推荐用 NeMo Run 的 FaultTolerancePlugin,或配置 FaultToleranceConfig 后用 ft_launcher 启动(非 Slurm 需 export GROUP_RANK=0)。掉队检测配置 NVRxStragglerDetectionConfig。抢占可用 PreemptionPlugin 或直接设置 exit_signal_handler。进程内重启需设置 TORCH_CPP_LOG_LEVEL=error、TORCH_NCCL_RETHROW_CUDA_ERRORS=0、NCCL_NVLS_ENABLE=0,并用 srun --kill-on-bad-exit=0 启动。异步保存需 async_save=True 且 ckpt_format="torch_dist"。

限制:容错仅 Slurm,直接配置必须用 ft_launcher 而非 torchrun;进程内重启与 NeMo-Run、Slurm 抢占插件不兼容,且 NCCL watchdog 超时须大于 hard_timeout;NVRx 与旧掉队检测器不要同时启用;stop_if_detected 默认只记录不终止;重跑状态机为 alpha。具体版本要求与完整参数暂未提供。