用途:指导在华为昇腾 NPU 上完成多模态生成式模型的端到端训练,包括文本生视频、图生视频、视频到视频、首尾帧生视频及文本生图。
主要能力:提供安装步骤、模型注册表、四类训练后端(Megatron 的 pretrain_sora.py;Megatron+FSDP2 需 CUDA_DEVICE_MAX_CONNECTIONS=2;FSDP2 原生用 mindspeed_mm/fsdp/train/trainer.py;Accelerate+DeepSpeed 用于 diffusers 模型)、特征提取与权重转换对照,以及 Wan2.1 文本生视频完整示例。支持 Wan2.1/2.2、CogVideoX、OpenSoraPlan、HunyuanVideo、FLUX、SD3 等模型。
使用方式:先克隆 MindSpeed-MM、Megatron-LM 与 MindSpeed,安装 PyTorch/torch_npu 预编译 wheel,激活 CANN 环境并冒烟测试;再按模型安装专属依赖(如 Wan2.1 需 diffusers==0.33.1)、下载并转换权重、准备数据集与 data.json、执行特征提取、修改配置文件后运行训练脚本。示例命令:bash examples/wan2.1/feature_extract/feature_extraction.sh、bash examples/wan2.1/1.3b/t2v/pretrain.sh、bash examples/wan2.1/1.3b/t2v/inference.sh。
适用场景:昇腾 NPU 上多模态生成模型训练与微调、不同后端迁移适配、数据与特征准备流程搭建。
限制:生成式模型不可用 bash scripts/install.sh;部分模型处于原型状态;特征提取与权重转换仅部分模型需要;依赖版本差异大,建议每模型独立容器;容器未用 --ipc=host 或 --shm-size=16g 时 DataLoader 可能 Bus error,需 --num-workers 0。其他细节资料未提供。