用途：为在 Megatron Bridge 中训练 MoE 视觉语言模型（VLM）提供实践指导，比较 FSDP 与 3D 并行两种方案，并给出调优决策依据。稳定文档见 @docs/training/moe-optimization.md，卡片见 @skills/nemo-mbridge-perf-moe-vlm-training/card.yaml。
主要能力与建议：FSDP 上手最简单，适合首次跑通、以显存为先的调优，以及 embedding、vision、decoder 之间流水边界不规整的模型；3D 并行在调优后上限更高，适合已稳定、PP 布局清晰且有时间做深入扫描的模型。推荐流程是先用 FSDP 跑通，稳定真实数据输入、重计算与显存行为，再视吞吐收益决定是否转向 3D 并行。
近期发现：GB200 级系统上 FSDP 已可达较高利用率；B200 的 FSDP 可行但对重计算选择和冻结视觉设置更敏感；3D 并行需联合调 MBS、重计算与真实视觉路径才能达到相近或更好水平。模拟数据不可作为性能参照，无图 mock 运行相对真实多模态输入可能快约两倍。较小规模多模态 MoE 实验显示 HybridEP 在 GB200 上是可靠默认，训练循环稳定后 TE 作用域 CUDA graph 有帮助，增大 MBS 有效但需避免视觉编码器成为新瓶颈。
关键调优项：适当冻结视觉栈；积极扫描 MBS；模型能放下后优先选择性重计算；CUDA graph 作用域默认用 attn moe_router moe_preprocess，窄作用域仅用于受控实验；仅在 EP 不足时使用 ETP。
限制与陷阱：模拟多模态数据会误导判断；视觉编码器可能意外成为主导，应分别剖析编码器、投影器与解码器；比较 FSDP 与 3D 并行时须按有效 token 与负载形状归一化，而非只看步时；ETP 会带来更多通信与调优面；重计算与 CUDA graph 选择相互耦合。具体配置与命令资料未提供。