用途：当需要将训练扩展到多块 GPU 时，可参考本指南中的分布式训练实践模式。
主要能力（据资料整理）：
- 多 GPU 场景优先使用 DistributedDataParallel（DDP），而非 DataParallel。
- 初始化进程组：dist.init_process_group(backend='nccl')。
- 使用 DistributedSampler 进行数据分片。
- 同步批归一化：nn.SyncBatchNorm.convert_sync_batchnorm()。
- 仅在 rank 0 上保存检查点。
- 学习率随 world size 线性缩放。
- 使用梯度累积以获得等效更大的批量大小。
适用场景：在 PyTorch 中跨 GPU 扩展训练任务。
限制：资料未提供具体代码示例、环境依赖、版本要求、性能数据或平台说明；上述命令片段需按实际环境调整，未提供的细节暂未提供。