trl-training
trl-training 是一个基于 TRL(Transformers Reinforcement Learning)库的模型训练技能,用于训练和微调 Transformer 语言模型。它通过命令行方式提供多种后训练技术,支持 SFT(监督微调)、DPO(直接偏好优化)、GRPO(组相对策略优化)、KTO、RLOO 以及奖励模型训练。TRL 构建于 Hugging Face Transformers 和 Accelerate 之上,可与 Hugging Face 生态无缝集成。用户可以通过内置参数配置训练流程,例如指定模型名称、数据集、学习率、训练轮数、批次大小等,并可选用 LoRA 适配器以降低资源占用。该技能还支持 YAML 配置文件以实现可复现训练,支持通过 Accelerate 进行多 GPU 和多节点分布式训练,并提供了针对 CUDA 显存不足、数据集加载、模型加载、训练缓慢及生成问题等常见故障的排查建议。