SuperAPI AI 工具集
合作ENAI 行业资讯收藏
全部工具AI开发平台Ocean-R1

Ocean-R1

Ocean-R1 是一个基于规则强化学习的两阶段多模态大视觉语言模型训练框架，旨在提升模型的通用多模态智能。项目针对现有 DeepSeek R1 框架在多模态场景下多集中于单一任务、导致灾难性遗忘的问题，提出先强化推理能力、再提升视觉感知的两阶段方案。实验表明，该方法能在 Qwen2.5-VL-Instruct（3B/7B）中诱发元认知式的“Aha Moment”行为，并在视觉数学、几何推理、视觉计数、指称表达理解、视觉空间推理、OCR 等多项任务上取得显著提升。项目基于 verl 框架训练，开源了代码、模型（Ocean-R1-3B-Instruct、Ocean-R1-7B-Instruct）和数据集（stage1 63k、stage2 20k），支持单节点与多节点 GRPO 训练及多种基准评测。

访问官网

工具介绍

Ocean-R1 是一个开放且可泛化的大型视觉语言模型项目，通过强化学习增强多模态智能。以下根据项目资料整理其用途、主要能力、使用方式、适用场景和限制。

一、用途 当前 DeepSeek R1 框架在多模态环境下的实现大多集中于单一任务专门化（如数学推理、视觉空间分析、指称表达理解 REC 或视觉计数），这种狭窄聚焦会引发灾难性遗忘——针对孤立任务领域的优化通过共享神经基质中的容量竞争损害了模型的泛化能力。此外，现有复现工作出于强化学习探索期间的稳定性考虑，优先关注基础模型，而指令模型（如 Qwen2.5-VL-Instruct）中元认知涌现（“Aha Moments”）这一关键问题仍未得到解决。Ocean-R1 旨在解决上述局限，提出一个两阶段基于规则的强化学习框架，以增强多模态智能。

二、主要能力 Ocean-R1 为两阶段规则式强化学习框架：第一阶段用于增强模型的推理能力，第二阶段用于提升视觉感知。实验表明，该方法成功在 Qwen2.5-VL-Instruct（3B/7B）中诱发了元认知涌现，并在多个任务上取得显著改进。 具体提升数据（3B/7B）：

  • 视觉数学：MathVision（+2.7/+2.7）、MathVerse（+3.2/+1.4）、MathVista（+4.9/+4.4）
  • 几何推理：GeoQA（+17.5/+22.2）
  • 视觉计数：SuperCLEVR（+23.2/+22.6）
  • 指称表达理解（REC）：RefCOCO/+/g 平均（+10.2/+1.7）
  • 视觉空间推理：CVBench（+9.3/+6.5）
  • OCR：OCR Bench（+9.9/+5.6） 项目应用 verl 框架训练模型，并开源了全部代码、模型和数据集：
  • Ocean-R1-3B-Instruct
  • Ocean-R1-7B-Instruct
  • Ocean_R1_visual_data_stage1（63k）
  • Ocean_R1_visual_data_stage2（20k） 这些数据来自开源社区，经过清洗和过滤。 项目发现包括：
  • 视觉 Aha Moment：在多模态推理场景中，对 Qwen2.5-VL-3B-Instruct 和 Qwen2.5-VL-7B-Instruct 模型进行基于规则的强化学习训练，可以引发类似“Aha Moment”的反思和验证等涌现行为。
  • 推理行为的训练动态：在 GeoQA 数据集上，不同模型在推理行为变化上呈现不同趋势。准确率随反思行为增加而提高。当模型学会推理后，反思行为减少。多次反思不一定产生正确结果。
  • 响应长度变化与任务复杂度相关：3B 模型通过 GRPO 训练在答案准确率和响应长度上同时提升；7B 模型虽取得类似准确率增益，但与响应长度呈反比关系。这表明模型容量与冗长程度呈负相关，较大模型在面对其认为较不困难的任务时可能更简洁地编码信息。当仅对复杂推理子集应用 RL 训练时，两项指标均持续提升。
  • 通过组合推理实现跨任务知识迁移：在第一阶段增强复杂视觉推理能力后，仅用 20k 混合样本便在视觉计数、指称表达理解和视觉空间推理任务上取得显著提升，说明增强复杂视觉推理能力可以正向迁移到更简单任务。

三、使用方式

  1. 数据准备：可从 Ocean_R1_visual_data_stage1 和 Ocean_R1_visual_data_stage2 下载训练数据，从 geoqa_test 和 cvbench_test 下载验证数据。参考 download_data.py 下载数据集并转换为 parquet 格式。每条数据是一个字典，组织格式见项目资料。提示词为："{Question}\nYou FIRST think about the reasoning process as an internal monologue and then provide the final answer. The reasoning process MUST BE enclosed within <think> </think> tags. The final answer MUST BE in <answer> </answer> tags."
  2. 自定义奖励函数：在单独文件中实现自定义奖励函数，并通过 custom_reward_function.path 和 custom_reward_function.name 指定。参考 ./verl/verl/utils/reward_score/custom_reward_fn.py。
  3. 开始训练（GRPO）： 单节点：

3B

bash ./verl/examples/grpo_trainer/run_qwen25vl-3b_stage1.sh bash ./verl/examples/grpo_trainer/run_qwen25vl-3b_stage2.sh

7B

bash ./verl/examples/grpo_trainer/run_qwen25vl-7b_stage1.sh bash ./verl/examples/grpo_trainer/run_qwen25vl-7b_stage2.sh 多节点：

3B

bash ./verl/examples/grpo_trainer/run_qwen25vl-3b_multinodes_stage1.sh bash ./verl/examples/grpo_trainer/run_qwen25vl-3b_multinodes_stage2.sh

7B

bash ./verl/examples/grpo_trainer/run_qwen25vl-7b_multinodes_stage1.sh bash ./verl/examples/grpo_trainer/run_qwen25vl-7b_multinodes_stage2.sh 如果运行脚本时遇到 bug，参考 verl-install。 4. 评测：

  • 视觉计数：SuperCLEVR
  • 几何推理：GEOQA，提供在测试集（直接答案形式）上评测的示例脚本。
  • 指称表达理解（REC）：RefCOCO/+/g，需下载 COCO Train2014 图像并解压，图像目录称为 <your_image_root>；下载并解压 RefCOCO/+/g 标注文件。
  • 视觉空间推理：CVBench
  • 其他：OCR Bench、MathVision、MathVerse 和 MathVista，应用 VLMEvalKit 评测。 项目后续方向包括：合成更多高质量、多样化的多模态数据；扩展到更大模型和更通用任务。

四、适用场景 适用于多模态大模型的研究与训练，尤其是希望提升视觉语言模型通用推理能力、避免单一任务灾难性遗忘、探索指令模型中元认知涌现的研究者；也可用于视觉数学、几何推理、视觉计数、指称表达理解、视觉空间推理、OCR 等基准任务的训练与评测。

五、限制 资料未提供关于收费、价格、平台、商业使用限制、具体硬件要求及训练时长的信息。项目为研究性质，训练与使用需要自行准备数据、环境（基于 verl 框架），并可能涉及多节点配置。部分基准评测依赖外部资源（如 COCO 图像、标注文件、VLMEvalKit）。

同类工具

查看分类