SuperAPI AI 工具集

nemo-mbridge-perf-parallelism-strategies

通用与其它

查看项目

更新于 10-16 04:33

技能介绍

用途:为在 Megatron Bridge 中训练大模型时选择和组合并行策略提供操作性指南,覆盖稠密模型与 MoE 模型的配置选型。

主要能力:按模型规模给出并行起步建议(稠密模型按 <1B 到 175-500B 划分,MoE 模型按总/激活参数与专家数给出 TP、PP、EP 配置);按硬件拓扑决策(单节点 NVLink、跨节点 InfiniBand 或以太网);按序列长度建议 SP、CP 等;给出 3D、4D 及 MoE+EP+PP 的组合配置示例;提供最小 GPU 数公式 min_gpus = PP * max(TP * CP, EP * ETP),并明确否定错误的全乘积计算;给出 DP 与 EDP 的计算公式、内存估算示例、代码锚点、陷阱与验证命令。

使用方式:通过配置项设置各并行维度,如 cfg.model.tensor_model_parallel_size、pipeline_model_parallel_size、context_parallel_size、expert_model_parallel_size、sequence_parallel 等;DP 大小由 world_size 除以对应维度隐式计算。

关键规则:TP 应保持在单一 NVLink 域内,跨节点 TP 通常导致性能损失;MoE 的 TP 按激活参数而非总参数确定,EP 随专家数扩展;SP 需要 TP>1;CP 需要 seq_length % (2 * context_parallel_size) == 0;EP 仅用于 MoE。表中所列为起步经验值,需在首轮迭代后分析内存与通信。

限制:未提供具体收费、价格、平台支持范围及更多使用步骤信息。