UniRL 是一个面向统一多模态模型的强化学习框架，由腾讯混元团队（Tencent-Hunyuan）开源。其定位是：用同一套 RL 后训练循环——生成样本、打分、计算优势、更新策略、再把权重同步回 rollout worker——覆盖多种多模态模型家族。
用途 UniRL 用于对多模态模型进行强化学习后训练，适用于扩散模型与自回归（AR）模型等不同模型家族。它把强化学习训练流程模块化，便于组合不同 rollout 引擎、算法、模型包与奖励服务。
主要能力
- 统一 RL 后训练循环：生成、打分、优势计算、策略更新、权重同步。
- 分层、可组合系统：训练入口加载 Hydra 示例配置并创建对应领域的 trainer；RL trainer 协调生成、打分与更新。
- 可插拔组件：rollout 引擎、算法、模型包（model bundles）、奖励服务、共享分布式运行时。
- 分布式运行时：Ray DevicePool、FSDP、Transfer Queue（TQ）、LoRA/全权重同步。
- 训练模式：SFT（消费监督清单）、异步 AR 与扩散入口（在不同 GPU 分区上重叠 rollout 与训练），以及 agentic 多轮工具使用工作流。
- 算法支持：团队提出的算法（Flow-DPPO、DRPO、CPPO）各含分步教程与可运行示例；同时接入 GRPO、DiffusionNFT、DanceGRPO、MixGRPO 等参考算法。
- 模型支持：模型维度与算法维度相互独立、可组合；同一扩散算法可运行在扩散模型上，AR 算法运行在 AR 模型上。每个模型行链接一个可运行 recipe，并有可运行、仅 bundle、仅 SFT、组合等状态说明。
- 奖励后端与 rollout 引擎覆盖可扩展。
使用方式
- 先安装依赖，见 INSTALL.md。
- 通过 Hydra 配置与入口启动训练；每个入口有一个内置默认值，在省略 --config-name 时使用。
- examples/README.md 提供完整启动指南、命名规则与如何新增 recipe；unirl/README.md 说明运行时循环、部署模式与模块地图。
- agentic 训练由 train_agentic 扩展 AR 路径，支持多轮工具使用；每次 rollout 前同步当前训练权重，并发派发同级轨迹，等待完整 GRPO 组后再打分与训练；成功轨迹获得组归一化优势并应用到每个助手回合，失败轨迹不参与更新。agent 环境、工具与轨迹契约见 agent 环境指南。
- 多节点、各入口与 mooncake 的完整启动方式见文档。
适用场景
- 多模态模型（含扩散模型与 AR 模型）的强化学习后训练研究。
- 需要组合多种算法与模型家族、复用 rollout 引擎与奖励服务的实验。
- 需要 SFT、异步训练、扩散训练或 agentic 多轮工具调用训练的工程场景。
限制与说明
- 资料未提供收费、价格、效果指标等具体数据。
- 部分模型组合为仅 bundle、仅 SFT 或组合状态，并非全部组合都有独立可运行 pipeline；完整矩阵（包、每个 recipe、rollout 引擎与每个模型的限制）见 unirl/models/README.md。
- 近期方向包括：为新模型家族（FLUX.2-Klein、HunyuanVideo 1.0/1.5、Bagel）扩大算法覆盖；把团队提出的算法（Flow-DPPO、DRPO）扩展到更多模型家族；扩展奖励后端与 rollout 引擎覆盖。
- 版本记录：2026-10 发布 UniRL v0.2.0，新增 12 个模型包、SFT/agentic/异步训练模式，以及 SGLang 0.5.19 + vLLM-Omni 0.28 rollout 栈；2026-06 发布 DRPO、Flow-DPPO、CPPO 论文。
贡献与致谢 提交 PR 前请阅读 AGENTS.md 中的仓库约定，运行所改文件的 pre-PR 检查并填写 PR 模板；bug 报告或功能请求使用 issue 表单。框架建立在开源 RL 与推理生态之上，特别致谢 vLLM、SGLang、slime 与 verl。
