用途:为 MoE 训练选择合适的分发器(alltoall、DeepEP、HybridEP),依据硬件、EP 规模和优化阶段给出建议,并汇总 DSV3、Qwen3 等模型的经验模式。
主要能力:按硬件给出首选(H100/B200 优先 DeepEP,GB200/GB300 NVL72 优先 HybridEP,未知或首次跑通选 alltoall);按 EP 规模给出指引(小 EP 差异次要,中 EP 常用 DeepEP,大 EP 在 NVL72 上常用 HybridEP);给出模型族模式与调参项。
使用方式:DeepEP 通过 moe_token_dispatcher_type="flex" 与 moe_flex_dispatcher_backend="deepep" 选择,可用 --moe-deepep-num-sms 20 调整通信 SM 数;HybridEP 对应 backend="hybridep",可用 --moe-hybridep-num-sms 16 调整,性能测试用 32,并设置 NUM_OF_HYBRID_EP_RANKS_PER_NVLINK_DOMAIN 匹配 NVLink 域大小;--moe_flex_dispatcher_backend None 选择标准 alltoall。基准测试建议用 --moe-router-force-load-balancing。
适用场景:首次正确性验证、小 EP、调试通信回退用 alltoall;Hopper/B200 跨节点 EP 明显时用 DeepEP;GB200/GB300 NVL72、大 EP、需内存余量时用 HybridEP。
限制:DeepEP/HybridEP 需容器内已安装对应运行时包,缺失会在模型构建阶段失败,应记为环境限制而非性能数据;HybridEP 对拓扑敏感,非目标硬件不保证收益;默认 SM 数只是起点,需扫描;比较分发器时须固定容器、路由模式、PP 布局与 CUDA 图范围。资料未提供具体价格与平台信息。