ADORA 全称 Advantage Dynamics via Online Rollout Adaptation，是一个面向强化学习训练的框架，核心思路是在训练过程中根据模型的 rollout 分布动态调整优势值（advantage），以提升大语言模型（LLM）和视觉语言模型（VLM）的长链式思考（CoT）推理与反思能力。
用途
ADORA 用于强化学习训练阶段，旨在改善 LLM 与 VLM 的推理表现。项目通过实验表明，它可以提升长 CoT 推理和反思能力，并支持在 Logic-RL 框架内实现。
主要能力与实验结果
- 在 LLM 方面，ADORA 在 Logic-RL 框架中的实现仅用 100 个训练步骤即达到 40 AMC，而原论文使用 1200 步达到 39 AMC；AIME 性能保持相当，为 8。文中指出该结果超过了 GRPO 的 35 AMC 和 6 AIME。
- 在 VLM 方面，仅使用 Geometry3K 数据集的 2K 样本，从 Qwen2.5-VL-7B-Instruct 出发，在 MathVista 上达到 73.5% 准确率，并伴随一致的响应长度增长，据称创下 DeepSeek-R1-Zero 多模态实现的新 SOTA。
- 训练动态对比显示，在 Qwen2.5-VL-7B-Instruct（geometry3k）上，GRPO 表现为响应长度增长停滞并出现 KL/策略损失离群值；ADORA 则实现持续的长度扩展，优化更稳定，代价是训练奖励略有下降。
- 所有结果均以 pass@1 准确率呈现。
使用方式
- 复现文章中的 LLM 与 VLM 实验，可参考 ADORA 和 ADORA_VL 文件夹中的教程。
- 实验在 8 张 A800 GPU 环境下进行，两个实验各约需 1.5 天完成。
- ADORA 可以通过仅修改一个函数，集成到 verl 或 OpenRLHF 中。仍需根据具体训练目标，定义一种从 actor rollout 结果生成优势权重的方法。
- 也可以选择仅在 RL 训练的某些阶段引入 ADORA。
- 项目说明 ADORA 具有兼容性与独立性，可与冷启动场景以及新近提出的 DAPO 无缝集成。
发布信息
[2025/03/20] 发布博客《Training Reasoning Model with Dynamic Advantage Estimation on Reinforcement Learning》、代码仓库、wandb 报告和模型权重 AdoraRL。
适用场景与限制
ADORA 面向研究、训练与复现 LLM/VLM 强化学习推理能力的场景，尤其适合使用 Logic-RL、verl 或 OpenRLHF 的开发者。使用前需准备相应 GPU 环境，并自行定义优势权重的生成方法。具体安装命令、许可协议、依赖版本、价格与收费等信息暂未提供。
