SuperAPI AI 工具集

nemo-mbridge-perf-moe-long-context

智能体与模型

查看项目

更新于 10-16 02:33

技能介绍

用途:为 Megatron Bridge 中的 MoE 长上下文训练提供调优指导,稳定文档见 @docs/training/moe-optimization.md,卡片见 @skills/nemo-mbridge-perf-moe-long-context/card.yaml。

主要能力:说明序列长度远超 4K 后,注意力内存与激活驻留成为主要约束,通常需要组合使用上下文并行(CP)、选择性重计算、低精度、优化器状态 CPU offload,以及不浪费剩余 DP 预算的调度器与 PP 布局。

实践模式:DSV3 在 H100 上,超过最短上下文后选择性重计算优于全量重计算,CP 适当增大时吞吐可保持较窄区间,随 CP 增长瓶颈从内存适配转向 GPU 数量可行性。Qwen3-Next 在 GB200 上,8K 与 32K 用中等 CP 可行,64K 吞吐下降明显、内存更紧,流水线布局与 grouped-GEMM 改进几乎与 CP 同等重要。Qwen3 235B 在 GB200 上,TP、CP 与 HybridEP 协调时 128K 级配置仍可高效。

CP 规模经验:以 4K 分片为目标,CP 约等于 seq_len/4096 再取二的幂;尽量保留 DP;优先选择性重计算(up_proj、norm、moe、moe_act、mlp),避免在极长上下文重计算 SDPA 内部;NVL72 上可用 TP 作为另一杠杆;CP 上升、DP 下降时可能需缩小全局批大小或接受更高 GA。

代表配置:DSV3 128K H100 为 TP=1 CP=32 EP=32 PP=8 VPP=4,FP8 级精度,DeepEP,重计算 up_proj、norm、moe、mlp,优化器 CPU offload;DSV3 256K H100 为 TP=1 CP=64 EP=32 PP=8 EDP=2 VPP=4;Qwen3 235B 128K GB200 为 TP=4 CP=4 EP=32 PP=4 VPP=12,BF16 或 MXFP8,HybridEP,重计算 moe_act、norm,CUDA Graph 用于 attn、moe_router、moe_preprocess。

重计算与 CUDA Graph:先选择性重计算,形状与路由稳定后再加 CUDA Graph;使用 CUDA Graph 时固定序列长度与 MBS;动态批次场景宜用 eager。参考 @docs/training/activation-recomputation.md 与 @skills/nemo-mbridge-perf-cuda-graphs/SKILL.md。

限制与陷阱:CP 不替代 EP 或 PP;好的 4K 基线未必适合长上下文;GPU 数量可行性是真正约束;CUDA Graph 需静态形状;128K+ 更依赖新内核与修复。