nemo-mbridge-perf-moe-dispatcher-selection

用途：为 MoE 训练的 token dispatcher（alltoall、DeepEP、HybridEP）提供选型与调优依据，来源为公开技能资料，非可执行代码。\n\n主要能力：按硬件与 EP 规模给出首选路径——H100/B200 优先 DeepEP，GB200/GB300 NVL72 优先 HybridEP，首次调试或拓扑未知时用 alltoall；汇总 DSV3、Qwen3 235B/30B、Qwen3-Next、MoE VLM 等模型族的经验走向。\n\n使用方式：DeepEP 通过 moe_token_dispatcher_type="flex" 与 moe_flex_dispatcher_backend="deepep" 选择；HybridEP 同理改为 hybridep；--moe_flex_dispatcher_backend None 表示标准 alltoall。调参项包括 --moe-deepep-num-sms 20、--moe-hybridep-num-sms 16（性能测试常用 32），并设置 NUM_OF_HYBRID_EP_RANKS_PER_NVLINK_DOMAIN 匹配实际 NVLink 域大小。基准测试建议使用 --moe-router-force-load-balancing。\n\n限制：选型前必须确认容器内对应运行时包可导入，缺失会在模型构建阶段失败，此类失败不构成性能数据。资料给出的均为趋势性经验，不保证具体吞吐；对比不同 dispatcher 时须保持容器、路由模式、PP 布局、CUDA graph 范围一致。HybridEP 对拓扑敏感，并非通用最优。