用途
该技能为使用 TRL（Transformer Reinforcement Learning）库实现 GRPO（Group Relative Policy Optimization，组相对策略优化）提供专家级指导，包含经过验证的模式、关键洞察和生产级工作流，用于通过自定义奖励函数微调语言模型。
适用场景：
- 强制特定输出格式（如 XML 标签、JSON、结构化推理）
- 教授具有客观正确性指标的可验证任务（数学、编程、事实核查）
- 通过奖励思维链模式提升推理能力
- 在无标注偏好数据的情况下将模型对齐到领域特定行为
- 同时优化多个目标（格式 + 正确性 + 风格）
不适用场景：
- 简单的监督微调任务（应使用 SFT）
- 没有明确奖励信号的任务
- 已有高质量偏好对的情况（应使用 DPO/PPO）
主要能力
GRPO 算法基础
- 为每个提示生成多个补全（组大小：4-16）
- 使用奖励函数在组内比较补全
- 更新策略以偏向组内高奖励响应
- 与 PPO 的关键区别：无需单独的奖励模型、样本效率更高、实现和调试更简单
奖励函数设计
- 组合多个奖励函数，每个处理一个方面（格式、正确性、风格）
- 适当缩放奖励，权重越高信号越强
- 使用增量奖励，对部分合规给予部分分数
- 独立测试每个奖励函数
- 奖励类型包括：正确性（权重 2.0）、格式（0.5-1.0）、长度（0.1-0.5）、风格（-0.5 到 0.5）
实现工作流
- 数据集准备：提示采用聊天格式（包含 role 和 content 的字典列表），包含系统提示，可验证任务需包含真实答案列
- 奖励函数实现：提供正确性奖励、格式奖励、增量格式奖励等模板
- 训练配置：提供内存优化配置（小 GPU）和高性能配置（大 GPU）
- 模型设置与训练：支持标准 Transformers 设置和 Unsloth 设置（快 2-3 倍）
关键训练洞察
- 损失行为：损失从接近 0 开始并在训练中上升，这是正确现象（衡量与初始策略的 KL 散度）
- 应监控奖励指标而非损失
- 关键指标：reward（平均值）、reward_std（组内多样性，应保持 > 0）、kl（KL 散度，应适度增长）
- 常见陷阱及解决方案：模式崩溃、无学习、OOM 错误、训练缓慢、格式被忽略
高级模式
- 多阶段训练：先训练格式合规，再训练正确性
- 自适应奖励缩放：根据成功率调整权重
- 自定义数据集集成
部署与推理
- 保存和合并 LoRA 适配器
- 提供推理示例代码
使用方式
该技能以文档形式提供，包含完整的代码模板和配置示例。使用时需：
- 在实现 GRPO 训练前阅读完整文件
- 从最简单的奖励函数（如基于长度的）开始验证设置
- 使用 templates/ 目录中的模板作为起点
- 参考 examples/ 中的任务特定实现
- 按顺序遵循工作流，不要跳过步骤
- 增量调试，一次添加一个奖励函数
关键提醒：始终使用多个奖励函数（3-5 个最佳）；监控奖励指标而非损失；训练前测试奖励函数；从小规模开始（num_generations=4）逐步扩大；频繁保存检查点（每 100 步）。
适用场景
- 需要强制结构化输出格式的模型训练
- 数学、编程、事实核查等可验证任务的微调
- 提升模型推理能力
- 领域特定行为对齐
- 多目标同时优化
限制
- 该技能面向专家级实现，初学者应先从监督微调开始
- 需要 GPU 资源，配置需根据显存调整
- 需要明确的奖励信号，无清晰奖励信号的任务不适用
- 需要准备符合格式要求的数据集
- 具体支持的模型、平台和收费信息暂未提供