SEED-Bench-R1 是一个专注于视频理解与多模态大语言模型后训练方法评估的基准测试，由腾讯 ARC 团队开发。相关论文题为《Exploring the Effect of Reinforcement Learning on Video Understanding: Insights from SEED-Bench-R1》。
用途： SEED-Bench-R1 旨在系统评估多模态大语言模型在视频理解任务中的后训练方法，特别是比较强化学习（RL）与监督微调（SFT）的效果。它聚焦于需要同时运用感知和逻辑推理的复杂任务，如日常规划。
主要能力：
- 包含复杂真实世界视频和以选择题形式呈现的日常规划任务，要求模型具备高级感知与推理能力。
- 提供三级评估层次：同分布（in-distribution）、跨环境（cross-environment）和跨环境任务（cross-environment-task），用于衡量泛化性。
- 附带大规模训练数据集，且真值答案易于验证。
- 以 Qwen2-VL-Instruct-7B 为基础模型，对比 RL 与 SFT，展示 RL 在数据效率和分布外任务上的优势，并在 LongVideoBench 等通用视频理解基准上超越 SFT。
- 分析指出 RL 能增强视觉感知，但常导致逻辑连贯性较差的推理链，并指出不一致推理和忽略视觉线索等关键限制。
使用方式：
- 数据集可从 HuggingFace 下载。SEED-Bench-R1 基于先前工作 EgoPlan-Bench 和 EgoPlan-Bench2 构建，复用其训练和验证数据。验证数据用于 Level-1（同分布）和 Level-2（分布外，跨环境）评估，EgoPlan-Bench2 的测试数据用于 Level-3（分布外，跨环境任务）评估。
- 问题格式为多项选择题，模型需从四个候选答案中选择最合理的答案，主要指标为准确率（Accuracy）。
- 训练代码修改自 Open-R1-Video，训练命令配置为 8 x A100 (40GB) 节点，不同硬件和拓扑可能需要调整批量大小和梯度累积步数。
- 提供训练脚本：grpo.sh 用于在 Qwen2-VL-7B 上运行 GRPO，sft.sh 用于运行 SFT。
- 评估方面，提供后训练模型的推理与评估结果。
- 项目还发布了 GRPO-CARE（一种一致性感知 RL 框架）的训练代码和相应模型检查点（2025/06/18），以及 SEED-Bench-R1 数据集和训练/评估代码（2025/03/31）。
适用场景：
- 多模态大语言模型的研究与开发，特别是视频理解领域。
- 评估和比较不同后训练方法（如 RL 与 SFT）在视频理解任务上的效果。
- 测试模型在分布外场景下的泛化能力。
- 为改进基础模型推理、奖励建模和 RL 对噪声信号的鲁棒性提供参考。
限制：
- 视频样本来自 Epic-Kitchens 和 Ego4D 数据集，用户必须遵循相关许可协议，SEED-Bench-R1 不拥有这些视频的版权。
- 训练代码需要特定硬件配置（8 x A100 40GB），其他环境可能需要调整。
- 当前分析表明 RL 方法存在推理不一致和忽略视觉线索等限制，有待未来改进。
- 其他具体功能、收费、价格、平台、效果或使用步骤等信息暂未提供。
