SuperAPI AI 工具集

external-cannbot-model-model-infer-parallel-analysis

智能体与模型

查看项目

更新于 10-15 17:19

技能介绍

本技能用于分析基于 PyTorch 的昇腾 NPU 模型推理并行策略,根据模型架构参数与昇腾硬件规格推荐最优 parallel_config。仅做分析与推荐,不修改任何代码。

用途:新模型确定并行策略、现有配置优化、部署卡数或硬件变更后重新评估。适用 Dense Transformer 与 MoE Transformer,硬件为昇腾 Atlas A2/A3 系列,决策范围包括各 *_tp_size、o_proj_tp_size、cp_size、kvp_size,以及由此推导的 DP/EP 度。

分析流程:一、从模型 config 提取基础参数(层数、hidden size、注意力头、专家数等)并识别模块链路;二、定性分类候选并行模式;三、定量估算显存与通信成本;四、方案审查并输出 2~3 个候选配置;可选第五步用 Profiling 校准。禁止跳过前三步直接给配置。

主要能力包括:按架构主干、目标场景(高吞吐/低时延/均衡)、序列长度三层决策树给出候选;分别计算 Attention、FFN、MoE、Embed、LMHead 的参数量与单卡显存;分析是否跨节点通信、原语类型与重叠可能性;输出结构化的 parallel_config 推荐与方案文档。

当前限制:仅支持单机 BF16 部署,不支持多机分布式、PD 分离和量化推理;dp_size/ep_size 由框架自动推导;KVP 模式要求 oproj_tp_size 等于 kvp_size。配置变更后如需重新处理权重取决于 enable_online_split_weight 设置。更多参考配置索引见技能内 references/config-index.md。