用途:为在 Megatron Bridge 中训练 MoE VLM 提供实操指导,核心是 FSDP 与 3D 并行两种路线的取舍、调优与配置参考。稳定文档见 @docs/training/moe-optimization.md,卡片见 @skills/nemo-mbridge-perf-moe-vlm-training/card.yaml。
能力对比:FSDP 是从零跑通多模态的最简路径,适合首次 bring-up、以显存为先的调优、阶段边界不规整的情形;3D 并行在调优后上限更高,适合模型已稳定、PP 布局清晰且有时间做深入扫描的场景。常见工作流是先用 FSDP 跑出可靠一版,稳定真实数据输入、重算与显存行为,只有在吞吐余量值得额外投入时才转向 3D 并行。
近期发现:GB200 级系统上 FSDP 在较简单配置下即可达到健康的高位数利用率;B200 的 FSDP 可用但对重算选择与冻结视觉设置更敏感;3D 并行需联合调 MBS、重算与真实视觉路径才能回到或超过同等水平。模拟数据不可信——无图 mock 运行相比真实多模态输入并非“略乐观”,而更接近“快约一倍”,因此必须用真实或接近真实的图像负载再下结论。较小的 Qwen3.5 类多模态实验同样显示:GB200 上 HybridEP 是可靠默认;训练循环稳定后 TE 作用域 CUDA 图有帮助;增大 MBS 可能有收益,前提是视觉编码器不成为新瓶颈。
选择建议:首次接入新 VLM、嵌入/视觉/解码器阶段边界不规整、显存适配优先于绝对吞吐、或可能在解码器调优时冻结视觉栈时选 FSDP;模型在 FSDP 下已稳定、PP 布局清晰可复现、能联合扫描 MBS/重算/CUDA 图作用域、目标是稳态吞吐而非最易 bring-up 时选 3D 并行。
关键调优旋钮:合适时冻结视觉栈,常带来小幅但真实的吞吐增益并降低显存压力;积极扫描 MBS,VLM 比纯文本 MoE 对 MBS 更敏感,因视觉路径改变了计算与开销的平衡;模型能装下后优先选择性重算,全量重算适合 bring-up;CUDA 图作用域匹配负载,attn moe_router moe_preprocess 是较安全的 MoE 默认,更窄作用域可用于受控实验;仅当单独 EP 不足时才用 ETP,它会带来更多通信与调优面。
配置家族:FSDP 优先的 GB200 路径为 TP=1 CP=1 PP=1,EP 按专家拓扑设置(通常较大),调度器用 HybridEP,重算从全量起步再放宽到选择性;3D 并行 GB200 路径为 TP=1 CP=1 PP=1 或适度 PP,EP 与 ETP 按专家拓扑设置,调度器用 HybridEP,CUDA 图先窄后宽,且需真实数据路径稳定后再扩。
陷阱:模拟多模态数据有误导性;视觉编码器可能意外成为主导,应分别剖析编码器、投影器与解码器后再归因于调度器;不要用有效工作量不同的 FSDP 与 3D 并行运行做对比,应按有用 token 与负载形状归一并而非仅看步时;ETP 并非免费,应作为适配或拓扑工具而非默认;重算与 CUDA 图选择相互耦合,让模型装下的设置往往不是稳态最快的设置。
限制:原文未给出具体性能数值、支持版本、硬件门槛、收费或价格信息,暂未提供。