用途:作为所有 MindSpeed-MM 技能的统一路由入口,根据用户意图判断模型类型并指向对应技能或示例,提供端到端多模态训练流程总览。
路由规则:VLM/视觉语言理解、OCR、Qwen2VL、InternVL、GLM4V 等指向 mindspeed-mm-vlm;视频/图像生成、t2v、t2i、i2v、Wan、CogVideoX、FLUX 等指向 mindspeed-mm-generative;Omni(语音+视觉+文本)见 examples/qwen2.5omni/;语音识别、TTS、ASR、Whisper、CosyVoice 见 examples/whisper/ 或 examples/cosyvoice3/;DPO、GRPO、偏好对齐、强化学习归入后训练部分。
主要能力:给出 VLM 与生成模型的完整工作流。VLM 流程为环境搭建、模型依赖安装、权重下载与 HF→MM 转换、数据预处理(MLLM JSON)、训练(pretrain_vlm.py)、推理验证(inference_vlm.py)、评估(evaluate_vlm.py)、可选权重导出 MM→HF。生成模型流程额外包含特征提取(VAE 编码视频/图像为 latent,TextEncoder 编码文本为 embedding),训练入口为 pretrain_sora.py,推理为 inference_sora.py。
模型索引:理解类含 Qwen2VL、Qwen2.5VL、Qwen3VL、InternVL2.5/3/3.5、GLM4.1V/4.5V、DeepSeekVL2、DeepSeekOCR/OCR2、JanusPro、Ming、Bagel;生成类含 Wan2.1/2.2、HunyuanVideo/1.5、CogVideoX、FLUX、OpenSoraPlan 1.3/1.5、StepVideo、LTX2、Lumina-mGPT;Omni 含 Qwen2.5Omni、Qwen3Omni;音频含 Whisper、CosyVoice3、Qwen3TTS、FunASR。入口脚本分三类:Megatron 统一入口(pretrain_vlm.py、pretrain_sora.py)、Megatron 模型专用入口、FSDP2 入口(pretrain_transformers.py 等)。
使用方式与限制:需在昇腾 NPU 环境运行,检查项包括 Docker 使用 --privileged --ipc=host、安装模型专用依赖、确认 npu-smi info 与 torch.npu.is_available()、安装 mindspeed-mm、复制 megatron 模块。训练支持 TP/PP/CP/EP、micro/global batch、seq-length、recompute、分布式优化器等参数;权重转换与训练的 TP/PP 及模型架构须一致,否则加载失败。建议不同模型使用独立 Docker 避免依赖冲突;具体模型脚本以 examples/<model_name>/ 实际 shell 脚本为准。资料未提供收费与价格信息。