SuperAPI AI 工具集

resiliency

智能体与模型

查看项目

更新于 10-16 02:33

技能介绍

用途:为 Megatron Bridge 大规模分布式训练提供容错与弹性能力,减少故障导致的中断与进度损失。

主要能力:故障容错(仅 Slurm,支持心跳超时与自动重启);NVRx 掉队检测(相对/单卡性能监控,可设置阈值与是否终止训练);抢占处理(发送退出信号并保存状态);重跑状态机(实验性,检测损失 NaN 与异常尖峰);进程内重启(实验性,支持按节点或 rank 粒度重启);异步检查点保存与本地检查点。

使用方式:通过配置类启用,如 configuration 中的 FaultToleranceConfig、NVRxStragglerDetectionConfig、RerunStateMachineConfig、InProcessRestartConfig。故障容错可直接配置并需用 ft_launcher 启动(非 torchrun),非 Slurm 环境需设置 GROUP_RANK=0;也可用 NeMo Run 的 FaultTolerancePlugin、PreemptionPlugin 插件。异步保存需 cfg.checkpoint.async_save=True 且 ckpt_format="torch_dist"。

限制:故障容错仅支持 Slurm;进程内重启与 NeMo-Run、Slurm 抢占插件不兼容,且对 PyTorch/NCCL 版本与环境变量有要求,需直接以 srun --kill-on-bad-exit=0 启动;NCCL watchdog 超时须大于 hard_timeout;重跑状态机为 alpha 阶段。NVRx 与旧掉队检测不要同时启用;stop_if_detected 默认为 False,仅记录不终止。具体平台与收费信息暂未提供。