deepseek-r1-vision 是一个探索如何以低成本让视觉语言模型(VLM)具备类似 DeepSeek-R1 深度思考与推理能力的方法项目。项目名称即为仓库名,托管在 GitHub。
用途
该项目旨在利用有限的 GPU 资源,低成本地使 VLM 获得类似 DeepSeek-R1 的深度思考和推理能力。其核心做法是对监督微调(SFT)数据进行特殊处理,将原本的问答对转化为包含“思考”过程的思维链(COT)数据,然后使用 SFT 方式训练视觉模型,从而“引导”模型学会如何思考。
主要能力
- 将原始 SFT 数据转换为带思考过程的 COT 数据结构,赋予数据“思考”元素。
- 支持图文对话数据的处理。
- 支持纯文本对话的处理。
- 提供使用 llama-factory 进行 SFT 训练的配置与脚本。
- 能够对 Qwen2-VL 模型进行全参数微调,并在领域数据集上继续用 COT 数据训练。
使用方式
项目文件结构如下:
- DistilabelPipelineImage.py:处理与图像数据的对话。
- DistilabelPipeline.py:处理纯文本对话。
- ModifyThinkingContent.py:负责修改包含图像的推理内容,为 SFT 数据赋予“思考”元素,是构建图文对话 COT 数据的重要步骤。
- data/:数据存储目录。
模型获取:项目所用模型可通过链接 https://modelscope.cn/models/atlas9999/Deepseek-r1-distill-qwen2_vl/summary 下载,需将下载的模型文件放在项目指定位置,以便后续训练和推理调用。
训练方式:项目使用 llama-factory 进行 SFT 训练。全参数微调需参考 llama-factory,参数脚本位于 ./qwen2vl_full_sft.yaml 和 qwen2vl_full_sft.yaml(注:原文列出两个相同文件名)。项目先使用领域数据集对 qwen2-vl 模型进行 SFT 微调,之后使用 COT 数据(本仓库方法)继续训练。
参考仓库:https://github.com/sungatetop/geology-lvlm.git
注意事项:需拉取最新版 llama-factory,并将 .yaml 文件复制到 llama-factory 对应目录。
适用场景
适用于希望以有限 GPU 资源研究或实现视觉语言模型深度推理能力的开发者,尤其是对图文对话场景下的思维链数据构建与微调感兴趣的场景。
限制
资料未提供具体支持的模型版本、硬件最低要求、训练数据规模、效果评测、收费或价格信息、平台兼容性等细节,这些信息暂未提供。