pytorch-fsdp
PyTorch FSDP(Fully Sharded Data Parallel,完全分片数据并行)是 PyTorch 提供的分布式训练方案,用于在多 GPU、多节点环境下训练大规模模型。该技能基于官方文档生成,提供参数分片、混合精度、CPU offloading 以及 FSDP2 等方面的专家级指导。当用户需要了解 FSDP 的功能或 API、实现 FSDP 训练方案、调试相关代码或学习最佳实践时,可以触发该技能。资料同时涵盖 torch.distributed 分布式通信包的基础内容,包括后端选择(NCCL、Gloo、XCCL、MPI)、进程组初始化、环境变量配置,以及用于处理不均匀输入的通用 Join 上下文管理器(Join、Joinable、JoinHook)。