用途
Revisual-R1 是一个 7B 参数的开源多模态语言模型(MLLM),旨在解决培养复杂多模态推理能力时常见的难题。相关工作被 ICLR 2026 接收,重点探索通过数据策略与算法优化,而非单纯扩大模型规模,来解锁稳健、具备自我反思能力的多模态推理。
主要能力
- 采用三阶段课程训练:战略性的高难度纯文本冷启动阶段、多模态强化学习阶段、纯文本强化学习精炼阶段。
- 多模态强化学习阶段使用 GRPO,并由提出的 Prioritized Advantage Distillation(PAD)机制稳定训练,配合基于规则的奖励(包括 Efficient-Length Reward)。
- 在多项具有挑战性的视觉数学与推理基准上,于开源 7B 模型中达到 SOTA;同时保留较强的通用文本能力。
- 模型可生成较长回复,持续假设、反思、验证并纠正,最终给出答案,同时提供摘要式回答。
使用方式
仓库给出以下安装与使用途径(具体命令与参数以仓库文件为准):
- 安装依赖;若安装 flash-attn 遇到问题,仓库建议参考 flash-attn 进行安装;若连接 Hugging Face 遇到问题,可使用
export HF_ENDPOINT= https://hf-mirror.com。 - 合并 Hugging Face 格式的检查点。
- 通过 OpenAI API 直接评估模型。
- 使用 lmdeploy 部署并评估本地模型;也可修改
inference/inference.sh中的参数。
适用场景
适用于视觉数学推理、多模态推理研究,以及需要模型在视觉与文本任务上兼顾表现、并具备自我反思与多跳推理能力的场景。
限制与暂未提供
- 仓库未提供收费、价格或商业授权相关信息。
- 训练数据集(Coldstart)尚未发布,项目方称将在后续几周内完成;GRAMMAR 数据集也计划在两周内开源。
- 32B 与 3B Revisual-R1 仍在训练中,发布后将公开。
- 具体硬件要求、完整安装命令、评估参数与部署细节需以仓库文件为准,本介绍未展开或暂未提供。
引用与联系
如工作对研究有帮助,可按仓库给出的引用信息引用。问题、反馈或合作可发送邮件至 csfufu0728@gmail.com。