SuperAPI AI 工具集

mindspeed-llm-pipeline

智能体与模型

查看项目

更新于 10-15 17:19

技能介绍

用途:在昇腾 NPU 上完成 MindSpeed-LLM 从环境搭建到模型导出的完整部署流程,确保各阶段参数一致、数据正确流转。

主要能力:按固定顺序串联八个阶段——环境搭建、模型下载、权重转换(HF→MG)、数据预处理、训练启动、推理验证(可选)、评估(可选)、权重导出(MG→HF,可选)。覆盖参数一致性校验、阶段间数据流转,以及 Qwen、LLaMA、DeepSeek 等模型的特定配置。

使用方式:前置依赖 CANN + torch_npu 与 MindSpeed + Megatron-LM。先激活环境:source /usr/local/Ascend/cann/set_env.sh 与 source /usr/local/Ascend/nnal/atb/set_env.sh,并用 python -c "import torch; import torch_npu; print(torch.npu.is_available())" 验证。随后下载 HF 权重,用 convert_ckpt.py 做 HF→MG 转换,用 preprocess_data.py 生成 packed 数据,再用 torchrun 启动 posttrain_gpt.py 训练(微调须用 posttrain_gpt.py,--data-path 为不含 _packed 的前缀)。可选推理、评估与 MG→HF 导出。

适用场景:昇腾 NPU 上的 LLM 微调与部署流水线,如 Qwen2.5-7B LoRA 微调示例。

限制:TP/PP、--add-qkv-bias、--group-query-attention、--num-query-groups、--position-embedding-type 等参数须在转换、训练、推理间保持一致,否则会权重加载失败、NaN loss 或输出乱码;MG→HF 时 v1 需设 TP=PP=1,v2 无需设置并行参数。具体收费、价格与平台信息暂未提供。