MMR1 是发表于 CVPR 2026 的多模态推理增强研究项目，仓库地址为 https://github.com/LengSicong/MMR1，主要面向多模态推理模型的训练方法研究与资源开放。
【项目背景与定位】 项目指出现有多模态推理进展受两方面限制：一是缺少开放、大规模、高质量的长链思维（long chain-of-thought，CoT）数据；二是强化学习微调不稳定，标准 GRPO 在低奖励方差下常出现梯度消失。MMR1 即围绕这两点展开，提供方法、数据与模型的多层次开源资源。
【核心方法：方差感知采样 VAS】 项目提出方差感知采样（Variance-Aware Sampling，VAS），一种由方差促进分数（Variance Promotion Score，VPS）引导的数据选择策略。VAS 结合结果方差与轨迹多样性，用以提升奖励方差、稳定策略优化并改善收敛。 方法流程为：训练从数据集提示池开始，一个随机采样器提供均匀数据覆盖，一个加权采样器依据 VPS 优先选择奖励方差更高、轨迹更多样的提示；两类来源按混合比例 λ 组成训练批次，以平衡探索与覆盖。策略模型生成 rollout，通过奖励评估并更新策略；VPS 分数随模型改进被周期性重新估计，实现动态适应。算法层面包括：对每个提示采样多个 rollout 以估计通过率、结果方差（OVS）、轨迹多样性（TDS）与 VPS；按指定间隔刷新统计；按均匀随机与 VPS 比例混合构造批次；生成 rollout、计算 GRPO 损失并更新策略参数。
【开源资源】
- MMR1-SFT（约 16M）：监督微调数据集，含 1600 万条长 CoT 冷启动轨迹（由 Gemini2.5 Pro/Flash 生成），短答案经 GPT-4o 验证。
- MMR1-RL（15k）：强化学习数据集，含 1.5 万条问答对（GPT-4o）。
- 模型检查点：MMR1-3B-SFT、MMR1-3B-RL、MMR1-7B-SFT、MMR1-7B-RL 已发布；MMR1-32B-SFT、MMR1-32B-RL 标注为“On the way”（即将发布）。 数据集覆盖数学、科学、图表/图形、文档表格与通用理解等多样领域，含约 160 万数学样本及额外约 3.7 万其他领域样本，整合了 MathVerse、ScienceQA、ChartQA、DocVQA、GQA 等公开资源，并包含新整理与自采数据。项目同时提供完全可复现的端到端训练流程，训练细节参见仓库中的 TRAIN.md。
【评估结果】 项目在 MathVerse、MathVista、MathVision、LogicVista、ChartQA 等数学相关多模态推理基准上评估。MMR1-7B-RL 平均分 58.4，在 7B 规模推理模型中达到新的 SOTA；MMR1-3B-RL 取得 52.7，在更小规模下仍具竞争力。
【VAS 训练动态分析】 在训练效率方面，VAS 相对基线显著放大梯度幅度，缓解梯度消失；更高的裁剪比例提示策略更新更接近信任域边界；完整 VAS（λ=1.0）与混合 VAS–随机采样（λ=0.5）均比基线收敛更快、最终准确率更高。在 VPS 动态方面，分数分布从训练初期相对均匀逐渐向中间区间集中，表明对持续有信息量提示的识别趋于收敛；转移矩阵显示许多提示随时间跨区间移动，说明奖励方差随策略演化而动态变化，早期转移更广泛，后期更新更稳定。
【定性演示与贡献说明】 项目提供来自 MathVerse 的定性示例，展示模型分析问题、规划结构化解答、逐步推理、验证结果并给出替代解法路径的能力。项目仍在积极开发中，欢迎通过 pull request 或 issue 参与贡献。
【依赖与许可】 MMR1 构建于 Qwen2.5VL、LLaMA-Factory 与 EasyR1 之上，致谢列表见 ACKNOWLEDGEMENT.md。项目以 Apache 2.0 许可发布，服务为研究预览，仅供非商业用途，并受 Qwen 模型许可、OpenAI 与 Gemini 生成数据的使用条款以及 ShareGPT 隐私惯例约束。
【限制】 项目定位为研究用途、非商业预览；32B RL 检查点尚未发布；性能数据基于项目方在指定基准上的评估，具体使用需遵循相应许可与条款。
