SuperAPI AI 工具集
合作ENAI 行业资讯收藏
全部工具AI视频工具Video-R1

Video-R1

Video-R1 是一个探索在多模态大语言模型（MLLMs）中强化视频推理能力的研究项目，号称首个将 R1 范式系统性地引入视频推理的工作，受 DeepSeek-R1 通过规则型强化学习激发推理能力的成功启发。项目提出 T-GRPO——在 GRPO 基础上引入时间建模以显式促进时序推理，并构建了用于 SFT 冷启动的 Video-R1-COT-165k 与用于 RL 训练的 Video-R1-260k 两个数据集，均包含图像与视频数据。其 Video-R1-7B 模型在多个视频推理基准上表现优异，例如在视频空间推理基准 VSI-bench 上取得 35.8% 准确率、超过商用专有模型 GPT-4o；在 Video-Holmes 基准上取得 36.5% 准确率，超过 o4-mini（29.9%）和 Gemini-2.0-Flash（30.6%）。项目支持 Qwen2.5-VL、vLLM 训练与推理、图像-视频混合训练，以及多种答案输出类型，并提供从数据集、COT 标注、SFT 训练到 RL 训练和评估的完整流程。

访问官网

工具介绍

项目定位

Video-R1 旨在探索 R1 范式在视频推理中的应用，项目自述为“首个系统性地探索 R1 范式以激发 MLLMs 视频推理能力的工作”。其思路受 DeepSeek-R1 通过基于规则的强化学习激发推理能力的成功启发。

主要方法与能力

  • T-GRPO：在 GRPO 基础上引入时间建模，以显式促进时序推理。
  • 数据集构建：构建了用于 SFT 冷启动的 Video-R1-COT-165k 与用于 RL 训练的 Video-R1-260k，两者均包含图像和视频数据。为缓解高质量视频推理训练数据稀缺，项目策略性地引入基于图像的推理数据，从多种公开数据集中采集并平衡各子集比例；并使用 Qwen2.5-VL-72B 为 Video-R1-260k 样本生成 COT 推理过程，经基于规则的过滤后得到高质量 CoT 数据集 Video-R1-COT-165k。
  • 模型表现：Video-R1-7B 在多个视频推理基准上取得较强结果。例如在视频空间推理基准 VSI-bench 上达到 35.8% 准确率，超过商用专有模型 GPT-4o；仅使用 32 帧和 7B 参数。在 Video-Holmes 基准上达到 36.5% 准确率，超过 o4-mini（29.9%）和 Gemini-2.0-Flash（30.6%）。
  • 训练资源需求：Video-R1-7B 可使用 4 张 H20（96GB）GPU 或 5 张 A100（80G）GPU 训练。
  • “Aha Moment”：项目提到强化学习在 Video-R1 中出现了自我反思推理行为，即“aha moments”。
  • RL 训练曲线：准确率奖励总体呈上升趋势；响应长度曲线在 RL 训练初期先下降、随后逐渐增加。

支持特性

  • 支持 Qwen2.5-VL
  • 支持 vLLM 训练与推理
  • 支持图像-视频混合训练
  • 支持多种答案输出类型（选择题、数值、OCR、自由形式、回归）
  • 提供完整流程（数据集、COT 标注、SFT 训练、RL 训练、评估等）

使用方式

  1. 数据准备：将下载的数据集放到 src/r1-v/Video-R1-data/，然后解压数据。其中 Video-R1-260k.json 用于 RL 训练，Video-R1-COT-165k.json 用于 SFT 冷启动。
  2. 依赖版本：代码兼容指定的 Transformers 版本，需下载使用项目提供的 transformers 版本；vLLM 库请使用 0.7.2 版本；trl 库请使用 0.16.0 版本。
  3. SFT 冷启动：先在 Video-R1-COT-165k 数据集上做 1 个 epoch 的监督微调，得到 Qwen2.5-VL-7B-SFT 模型。如需对自己的数据做 CoT 标注，可参考 src/generate_cot_vllm.py。也可跳过 SFT，项目提供了 SFT 模型 Qwen2.5-VL-SFT。
  4. RL 训练：随后在 Video-R1-260k 数据集上做 RL 训练，得到最终的 Video-R1 模型。受当前算力限制，项目仅训练了 1.2k 步 RL。可用 T-GRPO 或 GRPO 脚本训练 Qwen2.5-VL-7B-SFT，也可启用 vLLM 加速。
  5. 训练设置：为效率考虑，训练时最多使用 16 帧，每帧最大分辨率 128 × 28 × 28，可在 src/qwen-vl-utils 中设置；per_device_train_batch_size 保持为 1。
  6. 推理与评估：推理时将最大帧分辨率提高到 256 × 28 × 28，最大帧数设为 16/32/64 以提升性能，可在 src/qwen-vl-utils 中设置。评估沿用 Qwen2.5-VL 官方 demo 的解码配置：top_p = 0.001，temperature = 0.01；较大的 top_p 可能导致输出混乱。评估 json 文件下载后放入 /src/r1-v/Evaluation，并从各基准官网下载评估视频数据按 json 指定放入同目录，再用提供的脚本评估。单例推理可使用项目提供的命令。

版本更新

  • [2025.12.03] 发布 OneThinker，一个面向图像与视频的全能多模态推理通用模型，可在单一模型内跨多种基础视觉任务思考。OneThinker-8B 在 31 个基准上表现较强，例如 MMMU 70.6%、MathVerse 64.3%、VideoMMMU 66.2%、Refcoco-testA 93.7、ReasonVOS J&F 54.9。它支持 Qwen3-VL 训练、多节点分布式训练，以及跨多视觉任务的图像-视频混合训练，代码、模型和数据集均已公开。
  • [2025/09/19] 工作被 NeurIPS 2025 接收。
  • [2025/05/28] Video-R1-7B 在新视频推理基准 Video-Holmes 上达到 36.5% 准确率。
  • [2025/03/28] 发布论文、代码、模型权重和两个训练数据集。
  • [2025/02/23] 发布 Video-R1 初步版本，见 ./previous_version。

适用场景与限制

适用于视频推理、视频空间推理、时序推理相关的研究与实验。限制方面：项目自述 RL 训练因算力限制仅 1.2k 步；训练时最多 16 帧，评估时更多帧（如 64）通常带来更好性能，尤其长视频基准；推理配置中 top_p 过大可能输出混乱。其他如许可、价格与商业使用条款暂未提供。

同类工具

查看分类