用途：在 SLURM 集群上迭代运行故障注入实验，衡量并改进故障归因（restart-agent 与 FR trace analyzer）的准确性。主要能力：按优先级构建故障池（GPU 故障优先，其次 crash、Python hang、signal）；每次提交 2 个作业并轮询；用 watch_and_analyze.sh 逐作业调用日志分析与 FR 分析；由 LLM judge 对 restart 正确性、rank 主因/任意提及、故障描述、FR rank 等维度打分；汇总为报告表格并识别系统性失败模式，再修改 attribution/restart_agent/ 后重跑同一池。
使用方式：先 cp scripts/user.env.example scripts/user.env 并填写分区、路径、容器镜像与 API 密钥等；运行 bash scripts/prepare_node_alloc.sh 执行默认 34 个实验池（每批 2 个），可用 POOL 环境变量覆盖，如 POOL="GPU_SLEEP:0:5:2 GPU_SLEEP:1:5:2"。分析用 bash scripts/watch_and_analyze.sh <会话>/experiments.tsv；单实验可调用 python -m nvidia_resiliency_ext.attribution.restart_agent.cli 与 fr_attribution。输出为 <session>_report.md 的 markdown 表格。
适用场景与限制：面向 Megatron-LM 验证的工作负载（llama4_scout 至少 2 节点、n3_super 至少 8 节点），依赖 SLURM、指定容器镜像与 LLM API。FR 分析为确定性图算法，不应自动修改；自定义 sbatch 脚本需遵循日志路径、checkpoints、故障标记等契约。费用、性能与具体硬件效果资料未提供。