用途：该技能面向使用 TRL 库对大型语言模型进行后训练与微调，覆盖监督微调、偏好对齐与强化学习训练。
主要能力：提供 trl sft（指令或对话数据监督微调）、trl dpo（基于 chosen/rejected 偏好对对齐）、trl grpo（按多个采样输出的相对奖励优化）、trl rloo（基于生成奖励的在线 RL）、trl reward（为 RLHF 训练奖励模型）。支持全量训练与 LoRA 适配器（--use_peft、--lora_r、--lora_alpha），奖励模型 LoRA 需 --lora_task_type SEQ_CLS。
使用方式：通过命令行传入参数，如 trl sft --model_name_or_path Qwen/Qwen2-0.5B --dataset_name trl-lib/Capybara --output_dir Qwen2-0.5B-SFT --push_to_hub。支持 YAML 配置文件（trl sft --config sft_config.yaml），可用命令行覆盖配置值。分布式训练集成 Accelerate，支持 --num_processes 多 GPU，以及预定义配置 single_gpu、multi_gpu、fsdp1、fsdp2、zero1、zero2、zero3，也可用 accelerate config 生成自定义配置。
适用场景：指令微调、偏好对齐、基于奖励的强化学习训练、奖励模型构建，以及多 GPU 或多节点训练。
限制与注意：资料未提供收费、价格与平台支持信息。常见问题包括 CUDA 显存不足（可减小 batch size、增大梯度累积、启用 LoRA 或 gradient_checkpointing）、数据集与模型加载失败、训练缓慢、GRPO/RLOO 生成问题。建议先用 SFT 再对齐，优先小模型与小数据集验证，使用配置文件保证可复现。该技能可在 GitHub Copilot、Claude Code、Codex 间移植，Codex 需同步到 $CODEX_HOME/skills/trl-training。无需 MCP 服务器。