SuperAPI AI 工具集

training-check

通用与其它

查看项目

更新于 10-16 08:02

技能介绍

用途:在训练确认已运行(会话存活、前几步 loss 下降)后,周期性检查 WandB 指标,尽早发现 NaN、loss 发散、评估指标退化等问题,避免把 GPU 时间浪费在坏掉的训练上。它关注训练质量,而非进程健康;会话存活与 GPU 利用率属于 watchdog 式监控。

主要能力:读取 WandB 指标,检查 loss 趋势、评估指标、NaN/Inf、loss 突增、学习率与梯度范数;根据信号做出停止、继续或等待的判断;对模糊情况调用次级 Codex 代理复审。若 WandB 不可达,可通过 SSH 读取日志尾部作为回退。检查间隔从 10 分钟开始,健康时逐步增加到 20、30、60 分钟封顶,出现异常后重置为 10 分钟。

使用方式:常量包括 WANDB_RUN(从项目笔记读取或传入 entity/project/run_id)、CHECK_INTERVAL、REVIEWER_MODEL = gpt-5.4。读取指标示例为 import wandb; api = wandb.Api(); run = api.run("<entity>/<project>/<run_id>"); history = run.history()。回退命令为 ssh server "tail -100 /path/to/training.log"。可在确认稳定后通过 cron、任务计划或 tmux 循环等定期执行 /training-check <entity>/<project>/<run_id>,并随间隔增长更新旧任务。

限制:不要在首次噪声出现时就停止训练,需要看多个检查点的趋势;停止时必须保存 WandB run URL 与关键指标作为证据;WandB 与日志都不可达时应报告连接问题并下个间隔重试,不要假定训练已坏;模糊且无硬失败时优先 WAIT 而非 STOP。若无法委派复审,则用同一标准本地判断并标记 [pending external review]。