SuperAPI AI 工具集

external-gitcode-ascend-msverl-daily-regression-triage

部署与运维

查看项目

更新于 10-15 17:19

技能介绍

该技能用于处理固定的每日 verl + MindSpeed 训练任务,判断结果是否健康、是否存在训练失败或精度回归,并推断最可能的近期提交原因。

主要能力与判定规则:先读取基线比对日志(默认 /home/st_daily_verl/msverl.log)。若日志含 mean abs diff: 且解析值恰为 0,停止并报告成功;若值非零,归类为 accuracy_regression;若含 error, please check log,归类为 train_error;若日志含义模糊,先报告 unknown 并说明缺失证据,不做昂贵操作。

工作流程:对比对日志运行 parse_result_log.py;通过后立即停止。train_error 时对每日训练日志运行 extract_failure_tail.py,只保留末尾高信号错误块;accuracy_regression 时以解析出的 reward 列表和 mean abs diff 为主要证据。随后用 sync_repos.py 同步轻量本地克隆,用 list_recent_commits.py 在默认时间窗口内收集两个仓库的近期提交,再用 rank_candidate_commits.py 排序嫌疑提交;仅在标题和涉及文件不足以解释时,才查看排名靠前提交的 diff。

默认配置:训练日志模式 /home/st_daily_verl/logs/msverl_YYYYMMDD.log;verl 仓库 https://github.com/verl-project/verl.git(main 分支);MindSpeed 仓库 https://gitcode.com/Ascend/MindSpeed.git(master 分支);临时克隆缓存根目录 /tmp/msverl-skill-cache;时间窗口为本地前一天 00:00:00 至任务执行时间。

成本控制:除非基于尾部的提取器连续失败两次,否则不加载完整训练日志;先看日志尾部,优先最后 traceback 或最后 ERROR 块;先用标题和涉及文件排序提交再看 diff;每个仓库深度阅读 diff 限前 3 个候选,证据仍弱时可放宽。

预期输出为紧凑报告,包含 status(pass、train_error、accuracy_regression 或 unknown)、time_window、evidence_summary、candidate_repo、candidate_commits、confidence(high、medium、low)和 fix_direction。证据弱时应明确说明,不要强行归因单一提交。可使用 triage_msverl_regression.py 做端到端本地流程,手工验证日志时单独用 parse_result_log.py 和 extract_failure_tail.py,需要未排序的近期提交清单时用 list_recent_commits.py。