用途:面向大语言模型对齐(Alignment)与安全,整理对齐技术的方法选择、训练配方、评测与常见陷阱,适合在开展对齐或安全相关工作时参考。
主要方法:RLHF 先训练奖励模型再做 PPO 微调,复杂但强大;DPO 直接进行偏好优化,更简单且无需奖励模型;GRPO 为组相对策略优化;SFT 作为对齐基线,进行监督微调。
训练配方:先在高质指令数据上做 SFT;DPO 参数建议 lr=5e-7、beta=0.1、batch_size=64;PPO 参数建议 lr=1e-6、clip=0.2、KL 系数=0.02,并使用参考模型计算 KL 惩罚;在 TruthfulQA、BBQ 等安全基准上评测。
常见陷阱:奖励黑客(模型找到获得高奖励的捷径)、模式崩溃(输出重复)、灾难性遗忘(丢失通用能力)。
限制与补充:资料未提供具体数据集、代码实现、安装命令、执行步骤及适用平台等信息,暂未提供;以上为原则性参考,实际使用需结合具体模型与任务验证。