SuperAPI AI 工具集

mindspeed-mm-train-profiler

智能体与模型

查看项目

更新于 10-15 17:19

技能介绍

用途:指导并自动化在昇腾 NPU 上对 MindSpeed-MM 模型训练进行 Profiling 数据采集。

主要能力:读取用户提供的可运行训练脚本(.sh),自动识别训练引擎并定位配置文件。识别依据包括脚本中的 MM_TOOL 变量、pretrain_sora.py / pretrain_transformers.py 入口、torchrun 后的 YAML 路径、YAML 中 MM_TOOL_PATH 字段及 tools.profile 结构。支持静态采集(指定起止 step)和动态采集(运行时修改配置文件动态开关);支持 Megatron 引擎(修改 tools.json)和独立 FSDP2 引擎(修改 YAML)。

必要用法:需先提供已配置模型、数据、权重的可运行训练脚本,否则无法采集。按顺序选择采集类型、级别、起止 step、卡号、采集内容、AI Core 指标、在线解析、训练步数后确认配置。执行前检查 CANN 环境(source /usr/local/Ascend/ascend-toolkit/set_env.sh 或 /usr/local/Ascend/cann/set_env.sh)与 torch_npu 可用性,NPU 不可用则停止。之后创建脚本与配置文件副本并修改,运行训练;禁止修改原始文件。动态采集需在 dynamic_param.config_path 指定空目录,训练中修改 profiler_config.json 的 start_step / end_step。离线解析命令按引擎选择。训练后检查 save_path 下 *_ascend_pt/ 目录。

限制:禁止修改用户原始脚本与配置、禁止安装框架或下载模型权重、禁止 start_step = 0(须 >= 1)、禁止默认采集全部 rank(ranks: [-1])、大规模训练仅采集 2-3 步。若脚本不引用 mindspeed_mm,建议改用通用采集技能;缺失路径需先修复。故障排查涉及 NPU 显存、空目录、端口占用、rank 配置、tools.json 路径等。可视化建议使用 MindStudio Insight。