TRL Training Skill 旨在帮助用户使用 TRL（Transformers Reinforcement Learning）库训练和微调大型语言模型。TRL 基于 Hugging Face Transformers 和 Accelerate 构建，与 Hugging Face 生态系统无缝集成，提供用于基础模型后训练的 CLI 命令。
主要能力 该技能覆盖多种训练方法：
- SFT（监督微调）：在指令跟随或对话数据集上微调模型，可进行完整训练或使用 LoRA 适配器。
- DPO（直接偏好优化）：使用偏好数据（chosen/rejected 对）对齐模型，支持完整训练和 LoRA 训练。
- GRPO（组相对策略优化）：通过奖励函数或 LLM-as-a-judge 评估生成结果并提供奖励来训练模型。
- RLOO（Reinforce Leave One Out）：基于在线 RL 训练，模型生成文本并根据自定义标准获得奖励。
- 奖励模型训练：训练奖励模型为文本质量打分，用于 RLHF。
使用方式 用户通过命令行调用 TRL 命令，如 trl sft、trl dpo、trl grpo、trl rloo、trl reward，并传入模型名称或路径、数据集名称、学习率、训练轮数、批次大小、梯度累积步数等参数。也支持 YAML 配置文件（如 sft_config.yaml），可通过 trl sft --config sft_config.yaml 启动，并使用命令行参数覆盖配置值。分布式训练通过 Accelerate 集成实现，支持多 GPU（--num_processes）以及预设的 Accelerate 配置（single_gpu、multi_gpu、fsdp1、fsdp2、zero1、zero2、zero3），也可使用自定义 Accelerate 配置。
适用场景 适用于需要对 Transformer 语言模型进行后训练、指令微调、偏好对齐、强化学习训练以及奖励模型训练的场景。建议先使用 SFT 微调基础模型，再进行偏好对齐；资源受限时可启用 LoRA；可先在小数据集上验证流程。
限制与说明 资料未提供具体收费、价格或平台限制信息。故障排查方面，资料列出了 CUDA 显存不足、数据集加载、模型加载、训练缓慢以及 GRPO/RLOO 生成问题等常见问题的处理建议，例如减小批次大小、增加梯度累积、启用 use_peft、gradient_checkpointing 等。更多文档、代码与示例可参考 Hugging Face TRL 官方资源。