用途:分析通过 launch.py 或 slurm.py 启动的 EAGLE3 流水线运行日志,汇总任务状态并诊断失败原因。
主要能力:定位实验目录(默认 experiments/,或 --job-dir 指定位置);读取每个任务(0–3)的日志尾部;检查退出/取消信息(DUE TO TIME LIMIT、FAILED、signal)、Python 异常与 traceback、CUDA 错误(OOM、NCCL timeout)、Slurm 状态(COMPLETED、FAILED、TIMEOUT、OUT_OF_MEMORY)以及成功标志(如 Saved N samples、训练 loss 行、AR 输出);输出结构化 markdown 报告,含总体状态(PASSED/FAILED/MIXED/PARTIAL)、逐任务结果、错误引用、根因与建议修复、警告及后续步骤。
使用方式:先查找实验目录,例如 ls -td experiments/cicd/cicd_* | head -10;若无实验则向用户询问目录。随后批量读取日志尾部,例如 find experiments/<exp_id>/ -type f ( -name '.out' -o -name '.log' ) | sort | while read -r f; do echo "=== $f ==="; tail -200 "$f"; echo; done。失败时可建议跳过已完成任务重跑,例如 uv run launch.py --yaml examples/<Org>/<Model>/hf_offline_eagle3.yaml pipeline.task_0.skip=true --yes;新模式可记录到内部 triage 跟踪器并用 /eagle3-triage 深入诊断;全部通过则建议运行 /eagle3-validate 确认 AR 达标。
限制与注意:日志文件名随启动模式不同(Slurm 为 sbatch_*.out,本地 Docker 为 *.log),需通用匹配。以下为已知良性模式,不应判为失败:vLLM 服务器退出码 143(SIGTERM,查询完成后被杀)、主任务成功后 Slurm 清理工作节点出现的 CANCELLED AT ... DUE TO TASK FAILURE 且 exit code: 0、未调用 destroy_process_group() 的 PyTorch 关闭警告、tokenizer 类不匹配警告。具体阈值与更多细节资料未提供。