open-r1-multimodal 是 EvolvingLMMs-Lab 在 GitHub 上维护的开源项目，作为 huggingface/open-r1 的分支，其目标是为 open-r1 增加多模态模型训练能力，探索 R1 范式在多模态模型中的应用。项目作者表示，在观察到社区对 R1 的兴趣增长并研究了 open-r1 与 trl 中 GRPO 算法的优雅实现后，进行了一次多模态方向的快速实验，并承诺如实分享发现。
用途方面，该项目主要面向希望研究多模态推理模型与强化学习训练的研究者和开发者。它基于 huggingface/open-r1 与 deepseek-ai/DeepSeek-R1 实现多模态 R1，并集成了 Qwen2-VL 系列、Aria-MoE 以及 transformers 中其他可用的视觉语言模型（VLM）。
主要能力包括：一、多模态模型训练支持，采用 GRPO 算法；二、开源首批 8k 多模态 RL 训练样例，聚焦数学推理，数据由 GPT4o 基于 Math360K 和 Geo170K 生成，带有推理路径与可验证答案，并提供脚本供用户检查与创建自己的数据；三、开源使用 GRPO 训练的模型 lmms-lab/Qwen2-VL-2B-GRPO-8k 与 lmms-lab/Qwen2-VL-7B-GRPO-8k；四、提供训练与评估脚本，训练命令以 8 张 H100（80GB）节点为配置，其他硬件和拓扑需自行调整 batch size 与梯度累积步数；五、支持使用 lmms-eval 进行模型评估。
使用方式上，用户可参考仓库中 local_scripts/train_qwen2_vl.sh 运行 Qwen2-VL-2B 的 GRPO 训练，相关脚本面向多 GPU/多节点训练；评估时使用 lmms-eval，如需复现基准结果可切换到 dev/qwen_cot 分支。
适用场景集中于多模态数学推理的强化学习研究、RL 数据生成与验证、以及多模态推理模型的评估方法探索。项目还讨论了若干限制与未来计划：数学多模态问题中选择题较多，需要多选选项验证，相关逻辑已在 src/open_r1/grpo.py 中定制；RL 数据需可验证，如何将现有数据有效转换为 RL 数据并验证 GPT4o 标注的可靠性仍需探索；当前框架在大规模训练上效率不足，Qwen2-VL-2B 在 8 张 H100 上对 8k 样本训练 1 个 epoch 需约 10 小时；初始模型（Qwen2-VL-2/7B-Instruct）在实验中的推理能力表现不佳，训练过程中模型会快速从格式而非准确率上获取奖励；当前数据集限于数学场景，向开放式答案的通用领域扩展尚不明确。评估方面，视觉推理任务评估目前受限于直接答案格式与简单解析逻辑，像 mmmu_val、mathvista_testmini、mmmu_pro 等任务期望直接答案而非推理轨迹。此外，项目提到后续会向 open-r1 提交 PR 以更好支持社区的多模态 RL 研究。
