这是面向多 GPU 分布式训练的 PyTorch 模式集合,覆盖 DDP、FSDP、DeepSpeed 与混合精度。
用途:为需要在多卡或多节点上训练模型的工程提供可复用代码骨架与配置。
主要能力与模式:
- PyTorch DDP:含 setup/cleanup、DistributedSampler、梯度裁剪,配合 torchrun 启动,单机 4 卡用 torchrun --nproc_per_node=4 --nnodes=1 train_ddp.py,多节点指定 --nnodes、--node_rank、--master_addr、--master_port。
- FSDP:用 transformer_auto_wrap_policy 按 LlamaDecoderLayer 粒度包装,FULL_SHARD 等价 ZeRO-3,混合精度设为 BF16 参数、FP32 归约,use_orig_params=True 以兼容 torch.compile;保存用 FullStateDictConfig(rank0_only=True)。
- DeepSpeed ZeRO-3:提供 JSON 配置(BF16、gradient_clipping、zero_optimization stage 3、activation_checkpointing)与 deepspeed.initialize 用法。
- AMP:autocast + GradScaler,含 unscale_ 后再裁剪梯度的顺序。
- 梯度检查点:torch.utils.checkpoint.checkpoint(use_reentrant=False),HuggingFace 可用 model.gradient_checkpointing_enable()。
- 数据加载:DistributedSampler、pin_memory、prefetch_factor、persistent_workers,并给出按 rank 预分片数据集的写法。
限制与反模式:未调用 sampler.set_epoch(epoch) 会导致每轮洗牌相同;所有 rank 保存检查点造成 I/O 争用,应仅 rank 0 保存;小模型用 ZeRO-3 通信开销可能超过显存收益;增大批量需按线性缩放调整学习率并加 warmup;A100/H100 应优先 BF16 而非 FP16。资料未提供价格、平台或效果数据。