用途:在启动长时间机器学习训练任务前执行一套起飞前检查,降低因配置错误、路径缺失或监控缺失造成的整轮训练失败风险。也用于重启已失败的运行,或在启动替代运行前终止并清理旧任务。
主要能力:
- 配置对比:查找近期修改的配置文件,与参考运行进行 diff,逐行确认差异是有意设置还是遗留默认值,重点关注 num_workers、batch_size、learning_rate、optimizer betas/weight decay、mixed_precision、gradient_accumulation_steps、seed 等易被忽略的项。若无参考配置,应向用户询问,不可仅凭框架默认值启动。
- 运行命名规范:要求名称用简明英文描述实验内容,模式为“数据集/任务-模型-关键配置-独特配方”,避免 run-1、wave-2 等内部代号。
- 路径验证:启动前确认数据集路径、预训练检查点、输出目录父级和配置文件均存在,不可依赖记忆中的路径。
- 监控设置:根据环境变量或启动脚本自动识别 wandb、neptune、mlflow 或 tensorboard,确认运行会出现在正确的项目/实体下,并设置必要的标签或分组。
- 预计时长:按“轮数 × 每轮秒数 / 3600”估算墙钟时长,以本地时区说明,判断是否跨会议、睡眠或缺勤窗口。
重启与终止清理:按顺序清除本机检查点目录、远端/NFS/对象存储产物、实验追踪器中的运行记录、调度器预留(如 scancel <jobid>),避免幽灵状态影响后续启动或对比。
使用方式:当用户要求启动、重启、终止训练运行,或在执行 python train.py、accelerate launch、torchrun、deepspeed、sbatch train.sh、wandb sweep 等命令前,触发本清单。逐项报告通过或失败;任一失败默认阻止启动,除非用户明确豁免。干净启动时应给出可直接复制的启动命令。
限制:资料未提供具体实现代码、依赖版本、支持的框架范围及收费信息。