用途:对训练运行做同 epoch(同 step)对齐比较,解决“学生仍在训练、却拿基线最终值比较”的常见错误。当用户提出比较 run A 与 baseline/run B、判断是否在追赶或落后、给实验排名、X vs Y 的 wandb/neptune 对比、跟踪相对基线的滞后时触发。
主要能力:自动检测跟踪器,顺序为 WANDB_API_KEY 或项目内 wandb 导入→wandb;NEPTUNE_API_TOKEN→neptune;MLFLOW_TRACKING_URI 或 mlruns/ 目录→mlflow;runs/ 或 lightning_logs/ 目录→tensorboard;运行目录中的 results.json / meta.json→本地文件格式。若都未命中,先询问指标位置。
使用方式:1) 确认完整运行名(项目+实体+run-id),不用短代码;2) 拉取完整指标历史而非仅最终值,如 wandb 用 api.run(...).history(samples=10000),tensorboard 解析事件文件,neptune/mlflow 用各自 API;3) 取学生当前 epoch/step;4) 将基线切到同一步,若无精确匹配则插值或取最近步并说明;5) 区分代理指标(训练中计算,如 kNN 准确率、loss、perplexity)与下游目标指标(如线性探针准确率、下游 F1),分别报告,只有代理数据时明确说明,不单凭代理判定胜负;6) 输出中每行使用完整运行名。
输出:按指标对(代理+下游)给出紧凑对比表,每行对齐学生当前步,每格可追溯到具体 run-id 与 step,末尾用一两句话解释比较结果。
限制:不提供具体收费、平台或效果信息;若基线无匹配步需插值或取最近步并说明;单种子比较需标注方差或说明为单种子;避免未说明步数就报差值、未展示最近曲线就称收敛、跨运行日志口径不同却评最佳等反模式。