SuperAPI AI 工具集

finetuning

通用与其它

查看项目

更新于 10-15 21:39

技能介绍

用途:在 evo 工作流中为实验选择或诊断训练动作(SFT、LoRA、DPO/KTO/ORPO、RFT、GRPO/PPO/RLOO、RLHF)。原则是先定奖励、再选技术:可验证奖励(精确匹配、单元测试、解析器可判定)用 RL;偏好对用 DPO/KTO/ORPO;仅有示范用 SFT;有打分器又想要 SFT 稳定性用 RFT。SFT-then-RL 并非定律,可验证基准上从基座直接 RL 常更优。

用法:首个实验前用 evo:ideator 做文献调研;提交预算前先用约 10 条样例做 1 分钟冒烟测试,须产出可加载检查点与非零评估;超过约 30 分钟的训练在脚本内做周期检查点、小规模中途评估与回退早停,并保存最佳检查点。训练密集工作区可执行 evo config set max-attempts 1。支持从父检查点热启动(EVO_SEED_ARTIFACT / EVO_PARENT_POLICY),需将检查点声明为 artifact。可将 wandb、trackio 或 mlflow 接入训练脚本实时记录指标。昂贵中间产物缓存到工作区级 .evo/cache/。

诊断:可验证基准上 SFT 多次仍为 0,应转向以验证器为奖励的 RL;训练前基座低于随机说明缺知识而非格式;多次提交 delta<=0 说明该方法已耗尽;跨多种技术都停在同一非零分,多为训练与验证器目标不匹配。限制与具体超参、配方见 references/ 下文档;其余细节资料未提供。