Temporal-R1 是一个围绕视频多模态大语言模型(VideoLLMs)开展强化学习调优(Reinforcement Learning Tuning, RLT)的研究项目,目标是在后训练阶段增强模型针对视频的推理能力。项目指出,理解具有复杂语义和长时序依赖的真实世界视频仍是计算机视觉中的基本挑战;尽管多模态大语言模型在视觉-语言任务上已展现出较强能力,强化学习调优进一步提升了其推理能力。
主要能力与设计:项目基于 Group Relative Policy Optimization(GRPO)框架,提出双重奖励(dual-reward)公式,通过离散与连续奖励信号同时监督语义推理和时间推理。为支持有效的偏好优化,项目引入一种基于重复推理的方差感知数据选择策略,用于识别能提供有效学习信号的样本。项目在八项代表性视频理解任务上评估该方法,包括 VideoQA、Temporal Video Grounding(视频时序定位)和 Grounded VideoQA。
实验结果:官方说明称,该方法持续优于监督微调(SFT)和现有 RLT 基线,并以显著更少的训练数据取得更优表现。在 Video Temporal Grounding 结果中,与 SFT 模型相比,GRPO 训练的模型不仅性能显著提升,还展现出推理(“think”)能力与更强的泛化能力;具体而言,Charades 数据集上的 mIoU 提升 +7.98,ActivityNet 基准上的 mIoU 也有提升(+2.21)。此外,评估仅生成最终输出而不包含推理过程时,性能整体下降,说明加入推理过程对模型有正面作用。在 VideoQA 任务上使用 MVBench 直接测试时,模型准确率为 59.6,略低于基座模型的 63.35;但在相同训练数据上直接进行监督微调的模型完全丧失了输出有效选项的能力,这一现象表明基于强化学习的微调相比 SFT 保留了显著更高的泛化性。
使用方式:项目提供安装指南,需下载标注文件与视频,并在 examples/data_config 下创建名为 tvg.yaml 的文件,其中 json_path 为数据集文件,data_folder 存放视频。训练模型的命令在仓库中给出。
发布状态:2025 年 3 月 21 日发布初始版本代码,并指向 Hugging Face 仓库(Checkpoints);2025 年 6 月 2 日发布论文(Paper)。官方提示包含优化奖励机制与额外数据集的新版本代码即将发布。
适用场景:视频时序定位、视频问答、Grounding VideoQA 等视频理解与推理任务的研究与实验场景。
限制与未提供信息:项目未提供收费、价格、商业授权、平台兼容范围或完整支持语言等信息;具体训练命令、tvg.yaml 示例内容、数据集来源与规模等细节需以仓库文件为准,本介绍不展开。