用途:本指南用于在华为昇腾 NPU 上准备 MindSpeed-MM 多模态训练的基础环境。MindSpeed-MM 是华为的多模态应用层,依赖 Megatron-LM(分布式核心,core_v0.12.1 分支)、MindSpeed(昇腾适配层)及 CANN、torch_npu 等底层栈,面向视觉语言、视频生成、语音合成等场景。
主要能力与步骤:1) 激活 CANN 环境:source /usr/local/Ascend/cann/set_env.sh 与 source /usr/local/Ascend/nnal/atb/set_env.sh;2) 安装 PyTorch 与 torch_npu,须使用 https://gitcode.com/Ascend/pytorch/releases 的预编译 wheel,不可直接用 pip install torch==2.7.1;并安装 numpy pyyaml scipy attrs decorator psutil;3) 克隆 MindSpeed 并检出指定提交 93c45456c7044bacddebc5072316c01006c938f9,执行 pip install -r requirements.txt 与 pip install -e .;4) 克隆 Megatron-LM 并检出 core_v0.12.1,把 megatron 目录复制进 MindSpeed-MM;5) 在 MindSpeed-MM 中执行 pip install -e .;6) 用 Python 脚本验证 NPU 可用性与数量。
一键脚本:scripts/install.sh 官方仅完整支持 Qwen3 与 Qwen3.5,参数包括 --msid(必填)、-t/--torchversion、-y、-n、-mt/--megatron、-ic/--install-cann。ARM(aarch64)上该脚本从 PyPI 装 torch 系列易失败,建议改用预编译 wheel 手动安装。
Docker:镜像不含 ML 依赖,进入容器后需自行安装;须配置共享内存(--ipc=host 或 --shm-size=16g),否则 DataLoader 会 Bus error,可将 --num-workers 设为 0 规避。
限制:基础环境后各模型依赖差异大且冲突(如 qwen3vl 需 git 源 transformers、wan2.2 需 diffusers==0.35.1、hunyuanvideo_1.5 需 transformers==4.57.1、deepseekocr 需降级 transformers==4.46.3),建议每个模型单独容器或 conda 环境。基础依赖版本:torch 2.7.1、transformers 4.57.0、diffusers 0.30.3、peft 0.7.1、accelerate 0.32.1。其他模型专属配置详见对应 SKILL。