trl-fine-tuning

TRL 用于语言模型后训练与人类偏好对齐，覆盖监督微调、偏好优化与在线强化学习。安装：pip install trl transformers datasets peft accelerate。主要能力：SFTTrainer 做指令微调；DPOTrainer 用 chosen/rejected 偏好对直接对齐，无需奖励模型；RewardTrainer 训练奖励模型；RLOOTrainer 与 GRPOTrainer 做在线强化学习，GRPO 更省显存。用法上可写 Python 脚本，也可用命令行，如 trl dpo、trl rloo、trl grpo，RLOO 通过 --reward_model_name_or_path 传入奖励模型。注意 TRL 1.x 已移除 PPO，PPOTrainer、PPOConfig 与 python -m trl.scripts.ppo 不再存在，奖励模型驱动的 RLHF 可用 RLOO，显存受限可用 GRPO。适用场景：有 prompt-completion 数据做指令微调、有偏好对做对齐、需要奖励模型或在线 RL 的 RLHF 流程。限制：需要 NVIDIA CUDA GPU，显存随模型与方法变化，如 SFT 7B 约 16GB（LoRA）、DPO 7B 约 24GB、RLOO 7B 约 40GB、GRPO 7B 约 24GB；多 GPU 依赖 accelerate，推荐 BF16。常见问题包括 DPO 显存不足、对齐质量差、奖励模型不学习、在线 RL 不稳定，可通过调小批量与序列长度、启用梯度检查点、调整 beta 与 num_generations 缓解。文档见 https://huggingface.co/docs/trl/，代码见 https://github.com/huggingface/trl。