SuperAPI AI 工具集

nemo-mbridge-perf-moe-hardware-configs

通用与其它

查看项目

更新于 10-16 02:33

技能介绍

用途:为 MoE 模型训练提供按硬件平台与模型族划分的代表性配置参考,帮助选择调度器、并行布局与调优方向。

主要能力:给出 H100、B200、GB200、GB300 的典型 MoE 策略(如 DeepEP、HybridEP、MXFP8、CUDA Graph 范围);列出 DSV3、Qwen3 235B、Qwen3 30B、Qwen3-Next 80B 的规范配置行,例如 DSV3 在 H100 上为 DeepEP、TP=2、EP=64、PP=8、VPP=4,在 GB200/GB300 上为 HybridEP、TP=1、EP=64、PP=4、VPP=4;Qwen3 235B 在 H100 上为 DeepEP、TP=2、EP=32、PP=8、VPP=4,在 GB200 上 VPP 未指定,不应臆测。还提供取整后的吞吐区间与 MFU 规划范围、重计算策略(按内存压力从无到全量重计算)、环境变量(CUDA_DEVICE_MAX_CONNECTIONS、PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True、NCCL_GRAPH_REGISTER=0)以及 GB200/GB300 的 CPU 侧调优建议。

使用方式:按硬件与工作负载查表,先采用规范行,再结合路由模式、容器与 PP 布局调整;比较时固定路由模式,优先看绝对吞吐而非仅看 MFU。

限制:吞吐区间为规划范围而非精确承诺;配置依赖路由模式、容器质量与 PP 布局,不应直接照搬跟踪表行;VPP 划分不当会抵消调度器收益;未提供的数值(如 Qwen3 235B 在 GB200 上的 VPP)保持未指定。