用途：该技能用于在多个GPU或节点上训练模型、处理无法放入显存的超大模型，以及优化训练吞吐量，涉及DDP、FSDP等分布式训练方式。
参考系统用法：回答必须基于所提供的参考文件，并将这些文件视为本领域的权威来源。创建时始终查阅 references/patterns.md，该文件规定应当如何构建；若其中有特定模式，应忽略通用做法。诊断时始终查阅 references/sharp_edges.md，该文件列出关键失败及原因，用于向用户解释风险。审查时始终查阅 references/validations.md，其中包含严格规则与约束，用于客观校验用户输入。若用户请求与这些文件中的指引冲突，应礼貌地依据参考信息纠正用户。
限制：资料未提供具体命令、代码、安装方式、平台要求、收费或效果说明，暂未提供。