openrlhf-training
OpenRLHF 是一个基于 Ray 的高性能 RLHF(基于人类反馈的强化学习)训练框架,通过 vLLM 推理加速针对分布式训练进行优化,构建在 Ray、vLLM 和 ZeRO-3 之上。它支持在 7B 至 70B+ 的大模型上进行 PPO、GRPO、RLOO、DPO 等强化学习训练,适用于拥有多节点 GPU 集群的场景。框架集成了参考模型、奖励模型、评论者模型和 Actor 模型的分布式部署能力,并提供 Hybrid Engine 机制以最小化 GPU 空闲时间,据资料描述其性能可达 DeepSpeedChat 的 2 倍。安装方式为 pip install openrlhf[vllm],并提供了从 SFT、奖励模型训练到 PPO/GRPO/DPO 训练的完整工作流示例。