R1-Vision 是一个致力于多模态推理的研究项目，目标是将大语言模型（如 DeepSeek-R1）的推理能力迁移到大型视觉语言模型（LVLM）中，从而让模型能够同时处理文本和图像输入。该项目由 GitHub 用户 yuyq96 维护，采用冷启动蒸馏方法，目前处于早期阶段。
用途：DeepSeek-R1 在数学、编程、谜题和科学问题等推理任务上表现出色，但作为纯文本模型无法处理图像等多模态输入，限制了实际应用。R1-Vision 探索多模态推理的可能性，构建能同时用文本和图像进行推理的模型。
主要能力：项目通过三种数据（文本数据、文本渲染数据、多模态数据）进行冷启动蒸馏。文本数据为纯文本推理数据集；文本渲染数据从纯文本推理数据集整理，通过重新格式化和渲染管线生成，鼓励模型对不同模态输入产生相同响应；多模态数据从原始多模态数据集整理，采用 Caption-Prefixing 策略缓解纯文本推理模型缺乏视觉能力的问题。
使用方式：Caption-Prefixing 技术让模型在思考过程开始时通过描述图像来“假装看到”图像，使用简单模板，进入描述模式的开关是“Let's first take a look at the image.”，退出开关源自 R1 原始思考过程，帮助模型停止描述并避免幻觉。该方法无需 LLM 重新格式化等重型后处理即可获得格式良好的思考与解决方案。文本渲染方面，项目使用 LLM 重新格式化原始问题，并将重新格式化后的 LaTeX 文件渲染到图像上。
适用场景：适合研究多模态推理、视觉语言模型蒸馏、冷启动数据构建等方向的研究人员。
限制：项目仍在开发中，暂未提供增强版本的具体细节；计划训练和评估 TextHawk2-7B 和 Qwen2.5-VL-7B，并探索 LVLM 的强化学习，但这些均为待办事项，尚未完成；报告（Report）标注为即将发布，目前暂未提供。
