用途:本技能是 Megatron-Bridge 中启用 Megatron FSDP(全分片数据并行)的操作指南,面向需要配置分布式训练并行的工程与研究人员。
主要能力:给出最小化启用配置、示例配方修改、性能测试脚本入口、代码锚点(配置定义、校验逻辑、运行时包装器选择)以及常见陷阱与验证步骤。
必要用法:在 Bridge 配置中设置 cfg.dist.use_megatron_fsdp = True、cfg.ddp.use_megatron_fsdp = True、cfg.ddp.data_parallel_sharding_strategy = "optim_grads_params"、cfg.ddp.average_in_collective = False、cfg.checkpoint.ckpt_format = "fsdp_dtensor"。性能测试可用 python scripts/performance/launch.py --use_megatron_fsdp true。验证使用 2 卡功能冒烟测试:CUDA_VISIBLE_DEVICES=0,1 uv run python -m torch.distributed.run --nproc_per_node=2 -m pytest tests/functional_tests/training/test_megatron_fsdp.py::TestMegatronFSDP::test_fsdp_pretrain_basic -v -s,成功标准为 1 passed、末次迭代 loss 有限、无检查点格式断言。
限制:Megatron FSDP 与 use_torch_fsdp2 互斥;不支持 use_tp_pp_dp_mapping;仅支持 fsdp_dtensor 检查点格式;CPU offloading 仅在 pipeline_model_parallel_size == 1 且关闭激活重计算时有效;FSDP 与 TP/CP 在 Hopper 及更早架构上可能需不同的 CUDA_DEVICE_MAX_CONNECTIONS 设置。公开配方常默认 ckpt_format="torch_dist",启用保存/加载时需切换。其他细节暂未提供。