SuperAPI AI 工具集

mindspeed-mm-vlm

智能体与模型

查看项目

更新于 10-15 17:19

技能介绍

用途:指导在华为昇腾 NPU 上使用 MindSpeed-MM 训练视觉语言理解(VLM)模型,以 Qwen2.5VL-3B 为旗舰示例,覆盖端到端微调流程。

主要能力与支持模型:列出 Qwen2.5VL、Qwen2VL、Qwen3VL、InternVL2.5/3/3.5、GLM4.1V/4.5V、DeepSeekVL2(均已发布)以及 DeepSeekOCR、DeepSeekOCR2、Ming(原型)。模型分三类框架模式:Megatron 使用 JSON 配置与 mm-convert hf_to_mm;FSDP2 使用 YAML 配置与 hf_to_dcp,需 CUDA_DEVICE_MAX_CONNECTIONS=2;自定义训练器直接使用 HF 权重,无需转换。

必要用法:先克隆 MindSpeed-MM 与 Megatron-LM(checkout core_v0.12.1),安装昇腾预编译 torch 与 torch_npu wheel,再安装 MindSpeed 与 MindSpeed-MM 依赖,激活 CANN 环境 source /usr/local/Ascend/cann/set_env.sh 和 source /usr/local/Ascend/nnal/atb/set_env.sh,并做 NPU 可用性冒烟测试。随后下载 HF 权重、用 mm-convert 转换、准备 MLLM JSON 格式数据(如 COCO2017 与 LLaVA-Instruct-150K,经脚本转换)、修改 data.json 与 model.json 中的数据与权重路径,最后运行 bash examples/qwen2.5vl/finetune_qwen2_5_vl_3b.sh 启动训练;可选推理与评测(仅提供 7B/72B 脚本,3B/32B 需自行改路径适配),并支持 DPO 后训练。

限制:多数 VLM 需手动安装,不要使用 bash scripts/install.sh(官方称其仅完整支持 Qwen3/Qwen3.5);不要用 pip 安装 torch,应使用昇腾预编译 wheel;不同模型的 transformers 版本要求可能冲突,需环境隔离;cache_dir 必须为本地路径,多节点时不可指向 NFS 共享目录;llm_pp_layers/vit_pp_layers 必须与 pipeline_num_layers 匹配;Docker 若缺少 --ipc=host 或 --shm-size=16g 需设 --num-workers 0。未提供的价格、收费、效果等暂无资料。