SuperAPI AI 工具集

training-check

数据与分析

查看项目

更新于 10-15 21:37

技能介绍

用途:在当前 Codex 会话中交互式监控训练质量,判断训练是否仍值得继续。区别于 watchdog 式进程健康检查,它关注指标趋势而非 tmux 是否存在或 GPU 是否空闲。

首次检查前需确认最低监控上下文:WandB run 路径或 URL;回退日志路径、SSH 或本地读取命令;训练目标、预期基线与关键成功指标;训练启动方式(便于必要时停止);记录决策与证据的项目笔记路径。来源不可用时明确说明并继续用可用来源;WandB 与回退日志都不可达时报告连接问题,将本轮判为 WAIT,不得仅因数据不可达推断训练有问题。

每轮检查:配置 WandB 时优先读 WandB,不可达则读回退日志。至少检查训练 loss 趋势、eval 指标相对基线的改善/持平/退化、loss/梯度/激活/指标中的 NaN 或 Inf、突增或发散、学习率调度、梯度范数、平台期。

每轮在当前终端输出结构:数据源(wandb_ok | log_fallback | unreachable)、run、近期指标、异常、证据(WandB URL、日志行、指标值或文件)、决策(CONTINUE | WAIT | STOP)、理由、下次检查时间。CONTINUE 表示健康、继续监控;WAIT 表示证据不足、噪声、过早或暂不可达,不停训练,稍后再查;STOP 表示明显问题或不再值得继续,需停止训练、保存证据、写笔记、输出 FINAL_SUMMARY 并结束循环。

停止时:若有 stop_command 先运行;否则按启动方式停止相应 tmux 会话、本地/远程进程、调度任务或 notebook 任务。保存 WandB URL、关键指标、日志片段、检查文件和停止原因,追加项目笔记,输出 FINAL_SUMMARY 后结束。不要因普通噪声的首次迹象停止,应找持续趋势或硬故障,并保留足够证据供后续理解。默认间隔 30 分钟,可疑但未达停止标准时可用更短间隔;异常恢复需明确说明并继续监控。