用途:在昇腾 NPU 上为 MindSpeed-LLM 训练采集 Profiling 数据,指导并自动化配置与运行带 Profiling 的训练脚本。
主要能力:支持采集级别 level0/level1(推荐)/level2;自定义 step 范围(默认 step 2~4,不含 4);可选 CPU、内存、堆栈、tensor 形状采集;默认仅采集 rank 0,可指定采集所有卡;生成的数据可用 MindStudio Insight 可视化分析。
使用方式:需提供已配置好模型、数据、权重的可运行训练脚本(.sh),无脚本无法采集。先运行 npu-smi info 确认 NPU 可用,必要时 source /usr/local/Ascend/ascend-toolkit/set_env.sh。禁止修改原始脚本,需基于原脚本创建带时间戳的新脚本,在 torchrun 命令中添加 Profiling 参数,例如:--profile --profile-step-start 2 --profile-step-end 4 --profile-ranks 0 --profile-level level1 --profile-with-cpu --profile-save-path ./profiling_output。运行后验证输出目录是否含 ascend_pt/ 及 PROF/device_*/data/。
限制:禁止修改原始训练脚本、安装框架、下载模型或转换权重;--profile-step-start 必须 >= 1;大规模训练不建议采集所有步骤;除非明确要求,不设置 --profile-ranks -1。NPU 不可用或脚本引用路径缺失时停止。