SuperAPI AI 工具集

deepseek-r1-vision

deepseek-r1-vision 是一个GitHub开源项目,探索如何让视觉语言模型(VLM)以低成本获得类似 DeepSeek-R1 的深度推理能力。项目核心思路是将原始 SFT 问答数据转换为包含“思考”过程的 COT(思维链)数据,再通过 SFT 微调“引导”模型学习思考,仅需有限 GPU 资源。仓库包含处理图文对话、纯文本对话以及修改推理内容以注入思考元素的脚本,并提供配套模型下载链接和 llama-factory 微调配置。

访问官网

工具介绍

deepseek-r1-vision 是一个探索如何以低成本让视觉语言模型(VLM)具备类似 DeepSeek-R1 深度思考与推理能力的方法项目。项目名称即为仓库名,托管在 GitHub。

用途

该项目旨在利用有限的 GPU 资源,低成本地使 VLM 获得类似 DeepSeek-R1 的深度思考和推理能力。其核心做法是对监督微调(SFT)数据进行特殊处理,将原本的问答对转化为包含“思考”过程的思维链(COT)数据,然后使用 SFT 方式训练视觉模型,从而“引导”模型学会如何思考。

主要能力

  • 将原始 SFT 数据转换为带思考过程的 COT 数据结构,赋予数据“思考”元素。
  • 支持图文对话数据的处理。
  • 支持纯文本对话的处理。
  • 提供使用 llama-factory 进行 SFT 训练的配置与脚本。
  • 能够对 Qwen2-VL 模型进行全参数微调,并在领域数据集上继续用 COT 数据训练。

使用方式

项目文件结构如下:

  • DistilabelPipelineImage.py:处理与图像数据的对话。
  • DistilabelPipeline.py:处理纯文本对话。
  • ModifyThinkingContent.py:负责修改包含图像的推理内容,为 SFT 数据赋予“思考”元素,是构建图文对话 COT 数据的重要步骤。
  • data/:数据存储目录。

模型获取:项目所用模型可通过链接 https://modelscope.cn/models/atlas9999/Deepseek-r1-distill-qwen2_vl/summary 下载,需将下载的模型文件放在项目指定位置,以便后续训练和推理调用。

训练方式:项目使用 llama-factory 进行 SFT 训练。全参数微调需参考 llama-factory,参数脚本位于 ./qwen2vl_full_sft.yaml 和 qwen2vl_full_sft.yaml(注:原文列出两个相同文件名)。项目先使用领域数据集对 qwen2-vl 模型进行 SFT 微调,之后使用 COT 数据(本仓库方法)继续训练。

参考仓库:https://github.com/sungatetop/geology-lvlm.git

注意事项:需拉取最新版 llama-factory,并将 .yaml 文件复制到 llama-factory 对应目录。

适用场景

适用于希望以有限 GPU 资源研究或实现视觉语言模型深度推理能力的开发者,尤其是对图文对话场景下的思维链数据构建与微调感兴趣的场景。

限制

资料未提供具体支持的模型版本、硬件最低要求、训练数据规模、效果评测、收费或价格信息、平台兼容性等细节,这些信息暂未提供。