VideoChat-R1 是由 OpenGVLab 开发并开源在 GitHub 上的视频时空感知与推理模型项目，其关联论文被 NIPS2025 接收。项目全称为 VideoChat-R1 & R1.5: Enhancing Spatio-Temporal Perception and Reasoning via Reinforcement Fine-Tuning，即通过强化学习微调增强视频的时空感知与推理能力。
一、用途 本项目面向视频理解任务，目标是通过多任务联合强化学习，提升模型对视频内容的时空感知与推理能力，覆盖短视频与长视频、时序定位、视频推理以及时空感知等场景。
二、主要能力 根据项目说明，模型在短视频与长视频、时序定位、视频推理和时空感知等基准测试中取得了一致且更强的结果。项目采用多任务联合强化学习（multi-task joint RL）来强化模型的时空感知与推理能力。在推理阶段，模型模拟人类的分层注意力机制，能够逐步定位输入视频中的感兴趣区域（Region of Interest, ROI），这一多步感知过程使模型表现随每一步而提升。
三、版本与发布时间线
- 2025/09/26：发布 VideoChat-R1.5 模型，包含 Huggingface 模型、论文及评测代码。
- 2025/09/22：VideoChat-R1.5 被 NIPS2025 接收。
- 2025/04/22：在 Huggingface 发布 VideoChat-R1-caption。
- 2025/04/14：在 Huggingface 发布 VideoChat-R1 和 VideoChat-R1-thinking。
- 2025/04/10：发布 VideoChat-R1 论文和代码。
四、使用方式 项目提供演示与推理说明，具体推理步骤需参考 Huggingface 的 README。相关评测代码位于 eval_scripts 和 lmms-eval_videochat 目录，训练相关脚本位于 training_scripts 目录。项目还提供了引用信息，并注明如有相关咨询可联系 yanziang@pjlab.org.cn。
五、适用场景 适用于视频时空感知与推理相关的研究工作，包括短视频和长视频理解、时序定位、视频推理等方向，可供研究人员参考、评测和训练使用。
六、限制 项目资料未提供收费、价格、平台服务、部署细节或商业使用条款等信息，相关内容暂未提供。
