用途：使用 TRL（Transformer Reinforcement Learning）对大语言模型做后训练与人类偏好对齐，覆盖指令微调、偏好对齐和强化学习优化。
主要能力：SFT 指令微调（SFTTrainer）、DPO 偏好对齐（DPOTrainer，无需奖励模型）、奖励模型训练（RewardTrainer）、PPO 与 GRPO 在线强化学习，并提供对应 CLI（如 trl dpo、trl grpo）。
安装：pip install trl transformers datasets peft accelerate
典型用法：SFT 用 SFTTrainer 传入模型与 prompt-completion 数据；DPO 用 DPOConfig 配置 beta 等参数后交给 DPOTrainer，数据为 chosen/rejected 对；GRPO 需自定义 reward_function 或调用奖励模型，配置 num_generations 后训练。完整 RLHF 流程为 SFT → 奖励模型 → PPO → 评估。
适用场景：有偏好数据需对齐、需强化学习优化、需训练奖励模型或搭建完整 RLHF 流程时。方法选择：有 prompt-completion 用 SFT；有偏好数据用 DPO；有奖励模型且需最大控制用 PPO；显存受限用 GRPO。
限制与注意：需 NVIDIA GPU 与 CUDA；显存随模型和方法变化（资料给出 7B 参考值：SFT 约 16GB、DPO 约 24GB、PPO 约 40GB、GRPO 约 24GB）。常见问题包括 DPO 显存溢出、对齐质量差、奖励模型不收敛、PPO 不稳定，可通过调整 batch size、max_length、beta、学习率、kl_coef 等缓解。多 GPU 经 accelerate 支持，推荐 BF16。文档见 https://huggingface.co/docs/trl/，代码见 https://github.com/huggingface/trl。