用途:该技能负责“预训练之后、通常也在监督微调之后”的适配决策与流程——把基础模型或SFT模型变成对齐的、偏好调优的或具备推理能力的模型。它先判断是否真的需要后训练:知识缺口走RAG,格式或行为可用标注示例教会就走SFT,托管模型可提高思考预算解决推理就不必训练。
主要能力:按可产出的奖励信号选方法。有配对偏好且求简单选DPO,并对比ORPO/SimPO;非配对好/坏反馈用KTO;有更强教师模型与小规模学生时先试同策略蒸馏;偏好加奖励模型加在线RL时常用无critic的GRPO/RLOO(PPO为参考算法,但需确认训练器版本是否仍支持);奖励可验证(数学/代码/测试)用RLVR,常经GRPO或GSPO/DAPO/RLOO;无机械检查器的真实任务用多准则rubric作奖励;人工标注是瓶颈用RLAIF/Constitutional AI;想要快速提升而不跑RL循环可用拒绝采样(best-of-N后SFT)。另含奖励模型选择(Bradley-Terry RM、ORM与PRM、生成式RM)、过度优化控制(KL正则按奖励来源设定,配合评测框架,报告大k的pass@k)与奖励漏洞门禁。
使用方式与限制:需先确认信号真实可标注,再验证训练信号质量;训练从第一步起带评测框架,并按奖励来源谨慎设置β;打包时对策略、奖励模型或检查器与配置一起做版本管理,保留可回滚检查点。算法名称、框架支持与默认值变化较快,TRL的loss_type与命名空间随小版本变动,需查对应版本发布说明。规模化与分布式细节、评测方法等应分别交给ai-distributed-training、ai-evals等技能。资料未提供具体安装命令、价格或平台信息。