SuperAPI AI 工具集

nemo-mbridge-perf-moe-hardware-configs

通用与其它

查看项目

更新于 10-16 03:49

技能介绍

用途:为 MoE 模型训练提供按硬件平台和模型族划分的代表性配置参考,用于性能规划与调参对照,而非精确承诺。

主要能力: 一是平台速查。H100 常用 DeepEP 加较强 PP 与适中 TP,重点在通信重叠与 PP 效率;B200 用 DeepEP 加 MXFP8 并谨慎安排 PP,关注容器质量与通信调优;GB200 用 HybridEP 加部分 CUDA 图并做 CPU 清理,关注主机开销、拓扑感知分发与显存余量;GB300 沿用 GB200 思路,用更新 FP8 与内核栈,上限通常更高。 二是典型配置行。DSV3 在 H100 为 DeepEP、TP=2、EP=64、PP=8、VPP=4;在 GB200/GB300 为 HybridEP、TP=1、EP=64、PP=4、VPP=4。Qwen3 235B 在 H100 为 DeepEP、TP=2、EP=32、PP=8、VPP=4;在 GB200 为 HybridEP、TP=1 或 2、EP=32 至 64、PP=4,VPP 未指定,不得外推为 12。 三是吞吐量区间。文档刻意取整以保持长期可用,仅作规划范围:DSV3 大规模在 H100 为低至中数百 TFLOPS/GPU 与十几 MFU;B200 为高数百 TFLOPS/GPU 与十几 MFU;GB200 约 1K TFLOPS/GPU 与二十出头 MFU;GB300 高于 GB200 区间。Qwen3 235B 在 H100 为低三百 TFLOPS/GPU、约 30% MFU;GB200 调优后为高数百 TFLOPS/GPU。

必要用法要点:注意 CUDA 图作用域覆盖 attn、moe_router、moe_preprocess;关注 CUDA_DEVICE_MAX_CONNECTIONS 选择、PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True、NCCL_GRAPH_REGISTER=0,以及 GB200/GB300 的 CPU 侧调优。重算策略按显存压力分级:低时不用或极窄选择集,中等时用 moe_act、mlp、norm 等,较高时加模型相关的上投影与选择性 MoE/MLP 模块,极高或长上下文才考虑全量重算。

限制与注意:不要照搬追踪表中的单行配置,胜出配置还取决于路由模式、容器与 PP 布局;容器质量可造成大幅回退;VPP 切分不当会抵消调度器收益;比较时应看绝对吞吐而非仅看 MFU,因 BF16、FP8 等精度模式会干扰 MFU;基准比较时建议固定路由模式,力平衡路由是更安全的默认。原文未提供具体价格、许可与安装命令。