用途:本技能指导用户使用 mm-convert 命令行工具,在 HuggingFace 与 MindSpeed-MM 格式之间转换多模态模型权重,适用于 VLM(视觉语言模型)与生成式模型(如视频生成)。
主要能力:mm-convert -h 可查看可用转换器,如 Qwen2VLConverter、Qwen2_5_VLConverter、InternVLConverter、WanConverter 等。常见操作包括 hf_to_mm(HuggingFace 转 MindSpeed-MM)、mm_to_hf(训练后反向导出)、hf_to_dcp/dcp_to_hf(DCP 格式,用于 Qwen3VL、InternVL3.5 等 FSDP2 模型)、source_to_mm(如 OpenSoraPlan v1.5)、resplit(调整并行策略无需重新转换)。并非所有转换器都支持全部操作,须查阅模型登记表确认。
使用方式:VLM 转换按模型名选择对应转换器,Qwen2VL 与 Qwen2.5VL 不可混用。示例:mm-convert Qwen2_5_VLConverter hf_to_mm --cfg.mm_dir "..." --cfg.hf_config.hf_dir "..." --cfg.parallel_config.llm_pp_layers [[36]] --cfg.parallel_config.vit_pp_layers [[32]] --cfg.parallel_config.tp_size 1。mm_to_hf 时 llm_pp_layers、vit_pp_layers 用一维列表,如 [36]。WanConverter 使用 source_path/target_path 参数体系。参数传递支持命令行、YAML(先 mm-convert ... --print_config=comments > config.yaml,再 --config config.yaml)及环境变量(export JSONARGPARSE_DEFAULT_ENV=true)。
适用场景:VLM 和视频生成模型的权重格式互转、PP 切分调整及训练前后权重准备。
限制:llm_pp_layers 与 vit_pp_layers 元素之和须等于对应总层数,两列表长度须相同且与 model.json 中 pipeline_num_layers 一致;tp_size 须与训练脚本 TP 值完全匹配;LayerZero 训练保存的权重不能直接 mm_to_hf,需先合并或重排;hf_to_mm 用嵌套列表、mm_to_hf 用一维列表;transformers 版本不匹配会导致 KeyError 或权重键错误,需重新下载最新权重或安装匹配版本。转换完成后可参考 MindSpeed-MM Training Skill 开始训练。其他细节暂未提供。