SuperAPI AI 工具集

vision-sft

通用与其它

查看项目

更新于 10-16 07:22

技能介绍

用途:在图像+文本演示数据上对视觉语言模型做监督微调。前提是方法选择已确定走SFT,且基础模型为VLM而非纯文本模型;若尚不熟悉LoRA基础(rank、alpha、目标模块),需先阅读纯文本LoRA/QLoRA配方。输入为图像+文本数据集与已选定的VLM基础模型;输出为经验证的适配器配置,包括冻结哪些组件、LoRA目标模块及min_pixels/max_pixels预算,供训练工程师生成可运行脚本。

共识配方:默认冻结视觉塔与投影器,仅在LLM上挂LoRA,全线性(q_proj、k_proj、v_proj、o_proj、gate_proj、up_proj、down_proj),r=8–16、α=16–32。因仅适配LLM行为而非注入新视觉知识,rank低于纯文本SFT默认值。QLoRA仅允许在视觉塔冻结时使用;量化基座同时解冻训练视觉层不受支持且不稳定。

何时解冻:仅当视觉域本身陌生(如卫星影像、医学扫描、密集技术图)且冻结配方出现平台期时,才解冻最后6层ViT,实测DocVQA +1.7pt,训练成本约1.75倍;六层为上限。解冻时视觉学习率须比LLM低5–10倍。若patch embedding在解冻集合中,高LoRA rank易致NaN,应保持低rank并紧盯早期loss。

两个静默杀手:一是图像标记/数量不匹配,模板文本中每个图像占位符须与实际传入collator的媒体项1:1对应,否则多数collator不报错但图像与文本错位,训练正常却不学习;须在训练前对每个样本校验。二是min_pixels/max_pixels分辨率预算,是影响质量与显存的最关键超参,须按数据集显式设定,勿用框架默认值:过低会静默降采样致小字不可读,过高会爆激活显存或被迫使用过小batch。

Unsloth细节:VLM SFT须用UnslothVisionDataCollator,勿用纯文本collator。fast_inference=True时finetune_vision_layers=False为必需,因vLLM无法在视觉层上服务LoRA适配器;若需解冻最后6层ViT,则该次运行不能启用快速推理,二者只能选一。

模型选择不在本技能范围内,由模型目录统一决定;VLM强化学习(VLM-GRPO)仅为参考,本技能范围止于监督微调。常见误区是把正常loss曲线当作运行健康的证据——正常曲线与静默杀手并存时依然成立;若loss正常但eval不提升,先重跑校验清单,再调超参。