pytorch-fsdp2
该技能用于指导编码智能体在 PyTorch 训练脚本中正确接入 FSDP2(fully_shard),涵盖分布式初始化、参数分片、混合精度与 CPU offload 配置,以及分布式检查点保存与加载。它强调按自底向上顺序对子模块应用 fully_shard、在分片后创建优化器、使用 model(input) 触发 FSDP2 钩子,并推荐使用分布式检查点(DCP)或分布式 state dict 辅助函数进行保存与恢复。适用于模型(参数、梯度与优化器状态)无法放入单张 GPU、希望采用基于 DTensor 的逐参数分片、并可能后续与张量并行组合的场景;同时提示跨 PyTorch 版本检查点兼容性等限制。