用途
本技能为使用 Transformer Reinforcement Learning（TRL）库实现 Group Relative Policy Optimization（GRPO）提供专家级指导，包含经过验证的模式、关键洞察与可用于生产的工作流，用于通过自定义奖励函数微调语言模型。
适用场景包括：强制特定输出格式（如 XML 标签、JSON、结构化推理）；教授具有客观正确性指标的可验证任务（数学、编程、事实核查）；通过奖励思维链模式提升推理能力；在没有标注偏好数据的情况下将模型对齐到特定领域行为；同时优化多个目标（格式 + 正确性 + 风格）。
不适用场景：简单的监督微调任务（应使用 SFT）；没有明确奖励信号的任务；已经拥有高质量偏好对的情况（应使用 DPO/PPO）。
核心概念
GRPO 算法机制：为每个提示生成多个补全（组大小 4-16）；使用奖励函数在组内比较补全；更新策略，使高奖励回答相对于同组低奖励回答获得更高概率。与 PPO 的关键区别：无需单独的奖励模型；样本效率更高（从组内比较中学习）；实现与调试更简单。
奖励函数设计原则：组合多个奖励函数，每个处理一个方面（格式、正确性、风格）；适当缩放奖励，权重越高信号越强；使用增量奖励，对部分合规给予部分分数；独立测试每个奖励函数。奖励函数类型包括正确性（可验证任务，权重示例 2.0）、格式（严格结构约束，0.5-1.0）、长度（0.1-0.5）、风格（-0.5 到 0.5）。
实现工作流
第一步：数据集准备。要求提示为聊天格式（包含 role 和 content 的字典列表）；包含系统提示以设定预期；对于可验证任务，将标准答案作为额外列。示例代码展示了使用 datasets 库的 prepare_dataset 函数，将原始数据转换为包含 prompt 和 answer 列的格式。建议在系统提示中使用 one-shot 或 few-shot 示例处理复杂格式；保持提示简洁（max_prompt_length 256-512 tokens）；训练前验证数据质量。
第二步：奖励函数实现。提供模板结构，函数接收 prompts、completions、answer 等参数并返回浮点数列表。示例包括：正确性奖励（答对得 2.0，否则 0.0）；格式奖励（匹配 XML 结构得 1.0）；增量格式奖励（对每个标签出现给 0.25 分，并对闭合标签后的多余文本扣分）。关键洞察：组合 3-5 个奖励函数以获得稳健训练。
第三步：训练配置。提供内存优化配置（小 GPU）与高性能配置（大 GPU）两套 GRPOConfig 示例。关键超参数包括 num_generations（组大小，建议从 8 开始，GPU 允许时增至 16）、learning_rate（5e-6 较安全，1e-5 更快但风险更高）、max_completion_length（推理任务 512，短答案 256）、gradient_accumulation_steps。
第四步：模型设置与训练。标准设置使用 transformers 加载模型、设置 tokenizer、可选 LoRA 配置，并初始化 GRPOTrainer 传入奖励函数列表、训练参数、数据集与 peft_config。Unsloth 设置可提速 2-3 倍，其余流程相同。
关键训练洞察
损失行为：损失从接近 0 开始并在训练中上升，这是正确现象，因为损失衡量与初始策略的 KL 散度；应监控奖励指标而非损失。
奖励跟踪：关注 reward（所有补全的平均值）、reward_std（组内多样性，应保持 > 0）、kl（与参考模型的 KL 散度，应适度增长）。健康训练模式示例显示奖励逐步上升、reward_std 缓慢下降、KL 适度增长。警告信号包括 reward_std 趋近 0（模型坍缩为单一回答）、KL 爆炸（> 0.5，发散过多需降低学习率）、奖励停滞。
常见陷阱与解决方案：模式坍缩（增加 num_generations、添加多样性惩罚）；无学习（检查奖励函数逻辑、提高学习率）；OOM 错误（减少 num_generations、启用梯度检查点）；训练缓慢（启用 use_vllm=True、使用 Unsloth、减少序列长度）；格式被忽略（提高格式奖励权重、添加增量奖励）。
高级模式
多阶段训练：先训练格式合规，再训练正确性。自适应奖励缩放：根据成功率动态调整奖励权重。自定义数据集集成：从 CSV 加载知识库并映射为 GRPO 格式。
部署与推理
保存与合并 LoRA：使用 merge_and_unload 合并适配器并保存。推理示例使用 transformers pipeline 进行文本生成。
最佳实践清单
训练前：验证数据集格式、测试奖励函数、计算 max_prompt_length、根据 GPU 内存选择 num_generations、设置日志。训练中：监控奖励进展、检查 reward_std、注意 OOM、定期采样生成、在留出集上验证格式合规。训练后：合并 LoRA 权重、在多样提示上测试、与基线模型比较、记录奖励权重与超参数、保存可复现配置。
故障排查
调试工作流：隔离奖励函数、检查数据分布、降低复杂度、监控生成、验证提取逻辑。提供调试奖励函数的快速修复代码示例。
参考资源
官方文档包括 TRL GRPO Trainer、DeepSeek R1 论文、Unsloth 文档；示例仓库包括 Open R1 实现与 TRL Examples；推荐阅读包括渐进式披露模式、RL 奖励塑造、LoRA 论文。
使用说明
加载本技能时：实现 GRPO 训练前阅读整个文件；从最简单的奖励函数开始验证设置；使用 templates/ 目录中的模板作为起点；参考 examples/ 中的任务特定实现；按顺序遵循工作流；逐步调试，一次添加一个奖励函数。关键提醒：始终使用多个奖励函数（3-5 个最佳）；监控奖励指标而非损失；训练前测试奖励函数；从小规模开始（num_generations=4）逐步扩大；频繁保存检查点（每 100 步）。本技能面向专家级实现，初学者应先从监督微调开始。