用途：本技能提供使用 TRL 库实现 GRPO（Group Relative Policy Optimization）强化学习微调的专家级指导，用于通过自定义奖励函数微调语言模型。适用场景包括强制特定输出格式（如 XML 标签、JSON、结构化推理）、训练可验证任务（数学、编程、事实核查）、通过奖励思维链模式提升推理能力、在无标注偏好数据下对齐领域行为，以及同时优化多个目标（格式+正确性+风格）。不适用于简单监督微调（应使用 SFT）、无明确奖励信号的任务，或已有高质量偏好对的情况（应使用 DPO/PPO）。
主要能力：讲解 GRPO 核心机制（每个提示生成多个补全，组内比较奖励，更新策略偏向高奖励响应），与 PPO 的区别（无需独立奖励模型、样本效率更高、实现更简单）。提供奖励函数设计原则：组合多个奖励函数（3-5 个为佳）、合理缩放权重、使用增量奖励、独立测试。给出正确性、格式、长度、风格等奖励函数类型及示例权重。
使用方式：工作流分四步。第一步数据集准备，提示需为聊天格式（含 role 和 content 的字典列表），可包含系统提示与标准答案列。第二步实现奖励函数，函数签名接收 prompts、completions、answer 等参数并返回浮点数列表。第三步训练配置，使用 GRPOConfig 设置学习率、批大小、num_generations（组大小 4-16）、max_prompt_length、max_completion_length 等，提供小显存与高性能两套配置。第四步模型设置与训练，可用 Transformers 标准流程或 Unsloth 加速，支持 LoRA 参数高效微调，通过 GRPOTrainer 传入 reward_funcs 列表训练。
关键要点：训练中 loss 会上升属正常（衡量与初始策略的 KL 散度），应监控 reward、reward_std、kl 指标。常见问题包括模式崩溃、无学习、显存溢出、训练缓慢、格式被忽略，各有对应解决方案。还介绍多阶段训练、自适应奖励缩放、自定义数据集集成、LoRA 合并与推理示例。
限制：本技能面向专家级实现，初学者建议先掌握监督微调。具体效果、收费、平台支持等资料暂未提供。