SuperAPI AI 工具集

mindspeed-llm-env-setup

智能体与模型

查看项目

更新于 10-15 17:19

技能介绍

用途:指导在华为昇腾 NPU 上搭建 MindSpeed-LLM 分布式训练环境。组件层次为 Megatron-LM(分布式训练核心,TP/PP,core_v0.12.1)→ MindSpeed(昇腾适配层,猴子补丁优化内核)→ MindSpeed-LLM(应用层:训练脚本、数据预处理、权重转换)。

主要步骤:1) 激活 CANN:source /usr/local/Ascend/cann/set_env.sh 与 source /usr/local/Ascend/nnal/atb/set_env.sh(旧版为 /usr/local/Ascend/ascend-toolkit/set_env.sh);2) 安装 PyTorch 与 torch_npu:pip install torch==2.7.1 --index-url https://download.pytorch.org/whl/cpu、pip install torch_npu==2.7.1rc1,并安装 numpy pyyaml scipy attrs decorator psutil;3) 克隆安装 MindSpeed:git clone https://gitcode.com/ascend/MindSpeed.git,pip install -r requirements.txt 后 pip install -e .;4) 克隆 Megatron-LM,git checkout core_v0.12.1,复制 megatron 目录到 MindSpeed-LLM;5) 在 MindSpeed-LLM 中 pip install -r requirements.txt;6) 用 python 导入 torch 与 torch_npu 打印 NPU 数量验证。

版本矩阵:CANN 8.5.0、PyTorch 2.7.1、torch_npu 2.7.1rc1、Python 3.10、Megatron-LM core_v0.12.1。

适用场景:昇腾 910B 等 NPU 上的大模型预训练与微调环境准备;可用 CANN 容器镜像(命令见官方文档),容器不含 ML 依赖需自行安装。

限制与注意:需匹配上述版本;网络受限时可用 http_proxy/https_proxy;缺少 yaml 等包时补装基础依赖;checkout 分支需确认 core_v 前缀;完成环境后按数据预处理、权重转换、训练启动顺序推进。具体脚本参数、收费与性能效果暂未提供。