用途：该技能用于学习 RLHF（基于人类反馈的强化学习），即通过人类偏好而非单纯下一词预测来引导语言模型输出更有帮助、无害、诚实的内容，涉及偏好数据、奖励建模与策略优化。
主要能力：介绍 RLHF 三阶段流程——监督微调（SFT）、奖励模型训练、策略优化；讲解偏好数据的成对比较格式（prompt、chosen、rejected）及人工标注、AI 反馈、隐式信号等采集方式；说明 Bradley-Terry 模型与奖励模型损失；介绍 PPO、REINFORCE、GRPO 等策略优化算法及 KL 正则化；并对比 DPO、IPO、KTO 等直接对齐算法。
使用方式：资料以概念讲解与参考文件为主，未提供具体安装命令或代码示例。参考文件包括 reference/reward-modeling.md、reference/policy-optimization.md、reference/direct-alignment.md；外部资源含 RLHF Book、InstructGPT、DPO 论文、TRL 文档与 DeepSeekMath。
适用场景：适合学习 LLM 后训练与对齐、选择 SFT/DPO/PPO/GRPO 等训练方法、理解奖励模型与偏好数据设计。
限制：资料未提供具体实现步骤、代码、收费或平台信息；RLHF 存在奖励过度优化、奖励黑客、评估困难与分布偏移等挑战，需注意 KL 正则化与数据质量。