SuperAPI AI 工具集

checkpoint-promotion

智能体与模型

查看项目

更新于 10-16 07:22

技能介绍

用途:作为微调流程 Phase 5 的门禁,判断一个训练干净且任务指标提升的检查点能否上线。输入为训练好的检查点、eval-harness-first 生成的 eval/baseline-<model>.json 以及冻结的 eval/drift-suite.yaml;输出 promotion-report.md,含四阶段证据与最终 PROMOTE 或 REJECT 判定,供 /finetune Phase 5 和 /promote-checkpoint 直接消费。

四阶段门禁:一、数据质量门,去重训练集、检查评测金标泄漏、扫描标签噪声,泄漏金标会使后续阶段全部失效。二、留出集与冻结能力漂移套件,重跑 drift-suite.yaml(MMLU/GSM8K/IFEval 加 200–500 条领域相邻样本),与基线逐基准对比。三、与基座的配对竞技场,位置随机化裁判,或全确定性评分时用确定性配对比较变体;留出集胜出但竞技场落败则不放行。四、金丝雀,5–10% 分层放量并自动回滚;仅本地部署可止步第三阶段。

漂移预算:≤1 分视为噪声可继续;2–5 分需换种子重跑后再定;>5 分为硬失败,任务收益不能抵消。RERUN 不是判定,重跑后仍超 1 分即硬 REJECT。样本量由预算推导,n=200 为务实下限,每次判定需报告半宽,小于半宽的差距按 REJECT(不确定)处理。

灾难性遗忘:无管理的 LoRA 微调约损失 43% 知识,基础管理约 10%,回放加 EWC 约 3%;标准缓解是混入 10–30% 通用数据回放。硬失败时按顺序尝试:调整回放比例(换行而非加行)、降低学习率、减少轮数、减小 LoRA rank。该顺序是默认而非定律,单次前后对比属低置信假设。

判定:报告须以 PROMOTE 或 REJECT 结尾,附证据与恰好一条最高杠杆整改建议;REJECT 是正常结果而非错误。本技能不自动重训,整改交回人工在 finetuning-method-selection 或相应训练技能处理。相关技能:eval-harness-first 提供漂移套件与基线,quantized-export 是 PROMOTE 后唯一有效下一步,preference-optimization 与 lora-qlora-recipes 负责学习率与 rank 杠杆,dataset-curation 负责回放混合配方。完整模板见 references/gate-templates.md。