R1-Multimodal-Journey
AI开发平台R1-Multimodal-Journey（又称 MM-Eureka V0）是一个探索多模态大模型强化学习（RL）的开源项目，旨在将类似 DeepSeek-R1 的 R1 式强化学习应用于视觉语言模型（VLM），验证其在几何等更具挑战性问题上的有效性。项目基于 Open-R1-Multimodal 构建，集成了 vLLM、Open-R1 与 trl 等开源成果，并采用 DeepSeek-R1 与 Qwen2.5-VL 的技术与基座模型。其核心改进包括：支持 vLLM 加速训练，在 8 张 H100 上较 OpenR1-MM 快 5-6 倍；修复 Open-R1-Multimodal 中的部分 bug（如 get_per_token_logps 函数）；将 transformers 升级至 4.49.0.dev0 以支持 Qwen2.5_VL。实验使用 geo170k 的 2 万条样本，发现即便 3B 小模型在 instruct 设置下，训练最初 10 步内即可出现“aha moment”。项目还发现 VLM 难以像 LLM 那样呈现长度增长曲线，但性能仍有提升；相比 SFT，R1 式 RL 仅基于答案正确性奖励，却表现出更高的数据效率。项目最新进展已迁移至 MM-Eureka，更多能力、模型与数据亦在该仓库开源。