用途:为 Megatron Bridge 训练任务选择并组合并行策略,覆盖稠密模型与 MoE 模型的规模启发式、硬件拓扑映射、序列长度适配、最小 GPU 数计算和显存估算。
主要能力:按模型规模给出起点建议,如稠密模型 <1B 用 DP,1-10B 用 TP=2-4+DP,10-70B 用 TP=4-8+PP=2-4+DP,70-175B 用 TP=8+PP=4-8+DP,175-500B 加 CP=2。MoE 模型 TP 按激活参数而非总参数确定,EP 随专家数扩展,PP 处理跨节点层分布,ETP 很少使用。按硬件拓扑:TP 保持在单个 NVLink 域内,跨节点用 PP 或 DP。按序列长度:2K-8K 加 SP,8K-32K 加 CP=2,32K+ 加 CP=4-8。
使用方式:在模型 provider 中设置 tensor_model_parallel_size、pipeline_model_parallel_size、context_parallel_size、expert_model_parallel_size 等参数,由 parallel_state.initialize_model_parallel 接入进程组。DP 大小隐式计算:稠密路径 data_parallel_size = world_size / (TPPPCP),MoE 路径 expert_data_parallel_size = world_size / (PPEPETP)。最小 GPU 数为 PP * max(TPCP, EPETP),而非各维度乘积。
限制:表中数值仅为起点启发式,需对首次迭代做性能剖析验证显存与通信。TP 跨节点会严重损失吞吐;PP 未交错会产生流水线气泡;SP 要求 TP>1;CP 要求 seq_length % (2*context_parallel_size)==0;EP 仅用于 MoE 模型。CUDA_DEVICE_MAX_CONNECTIONS 等环境变量与重叠设置相关。验证可用最小 recipe 覆盖并行参数运行 3 步,检查退出码 0、损失有限且日志显示预期布局。