SuperAPI AI 工具集

nvrx-attr

通用与其它

查看项目

更新于 10-16 02:34

技能介绍

用途:nvrx-attr 是 nvidia_resiliency_ext.attribution 模块之上的高层编排层,每个子目录是自带 SKILL.md 与辅助脚本的独立技能。

主要能力:log-analysis/ 分析 SLURM 作业日志,定位失败根因并给出重启决策,入口为 RestartAgent(python -m nvidia_resiliency_ext.attribution.restart_agent.cli);fr-analysis/ 分析 NCCL flight-recorder dump,定位集合通信挂起根因,入口为 CollectiveAnalyzer(fr_attribution.py);fault-injection-loop/ 运行批量 SLURM 故障注入反馈循环并评估归因准确率,入口为 prepare_node_alloc.sh 与 watch_and_analyze.sh。

使用方式:日志与 FR 分析应使用打包的 restart_agent 与 trace_analyzer 入口;旧版 LogSage、SPLITLOG 及组合工具位于 attribution/legacy_logsage/,仅用于源码检出工作流。通用前置条件为设置 LLM_API_KEY 环境变量、LLM_API_KEY_FILE 或 ~/.llm_api_key,并需要带 attribution extra 的源码检出或已安装包。使用 fault-injection-loop/ 前需从模板创建本地配置:cp scripts/user.env.example scripts/user.env,脚本运行时要求该文件存在,且应保持本地不纳入版本控制。

适用场景:SLURM 训练作业失败诊断与重启决策、NCCL 集合通信挂起分析、归因准确率评测。

限制:故障注入循环仅在 Megatron-LM 训练脚本上验证过;其余平台与场景暂未提供说明。