SuperAPI AI 工具集

mindspeed-llm-weight-prep

智能体与模型

查看项目

更新于 10-15 17:19

技能介绍

用途:指导在 HuggingFace 与 Megatron 格式之间转换 MindSpeed-LLM 模型权重,支持训练前 HF→Megatron、训练后 Megatron→HF,以及 LoRA 权重合并导出,运行环境为华为昇腾 NPU。

主要能力:HF→MG 与 MG→HF 双向转换(convert_ckpt.py / convert_ckpt_v2.py);LoRA 合并导出(仅 v1);张量并行 TP、流水线并行 PP、专家并行 EP(MoE)切分配置;层数不能被 PP 整除时用 --num-layer-list 做动态流水线分配。关键参数含 --load-model-type、--save-model-type、--target-tensor-parallel-size、--target-pipeline-parallel-size、--use-mcore-models、--load-dir、--save-dir、--model-type-hf、--tokenizer-model、--params-dtype 等。

使用方式:以 Qwen2.5-7B 为例,HF→MG 执行 python convert_ckpt.py 并指定 hf→mg、目标 TP/PP、load-dir 与 save-dir;反向类似。MG→HF 时 v1 需 TP=PP=1,v2 自动处理;v1 的 --save-dir 须指向原始 HF 模型路径,输出落在其 mg2hf/ 子目录。也可运行 examples/mcore/<model_name>/ 下 ckpt_convert_*_hf2mcore.sh、_mcore2hf.sh 示例脚本。

限制与注意:转换的 TP/PP 必须与训练脚本一致,TP×PP 不超过 NPU 数量;LoRA 的 --lora-r、--lora-alpha、--lora-target-modules 须与训练时相同;v1 与 v2 为独立系统不可混用;v2 不支持 LoRA 转换但支持流式加载、MoE 高级功能、MTP 层与缩减层调试;MG→HF 仅输出权重,config.json 与 tokenizer 需从原始 HF 目录复制;Qwen 模型 LoRA 合并可能存在 dtype 不匹配。转换后可接 mindspeed-llm-training 启动训练。具体收费、平台与更多细节暂未提供。