用途
本技能面向分布式训练的系统性能与工程落地，帮助在多 GPU 环境下选择并实现合适的并行策略。它强调操作性而非理论，适用于扩展训练规模、训练 MoE 模型、复现 GPT-2，以及排查多卡训练中的显存与通信问题。核心原则是：先剖析再扩展，用能装下的最小 GPU 调试，任务结束停掉实例。
主要能力
- 并行策略选型：DDP、FSDP2、DeepSpeed ZeRO 1/2/3、Megatron-LM 张量并行、流水线并行与专家并行。
- 显存优化：FlashAttention-2/3、xformers、激活检查点、混合精度（bf16、fp8、nvfp4）取舍。
- 优化器与规模：AdamW 与 Muon/MuonClip 的适用差异，优化器状态分片（ZeRO-1）。
- 预训练框架：litgpt、torchtitan、nanotron、levanter，以及 modded-nanoGPT、nanochat、llm.c 等 GPT-2 复现参考。
- 成本与稳定性：RunPod、Lambda、Vast.ai、Modal 等租用 GPU 的成本管理，Spot/可中断实例的检查点策略。
- 性能度量：MFU 与 HFU 的定义与报告方式，通信与计算重叠（FSDP2 预取、异步集合通信、DualPipe）。
使用方式
默认工作流：先确认规模与预算（GPU 数量、供应商、按需或 Spot、目标小时数）；在 1-2 张 GPU 上用 nsys 或 torch.profiler 做剖析；选择并行策略（DDP → FSDP/ZeRO → 必要时张量+流水线并行）；开启显存优化；接入分布式检查点（DCP）并测试恢复；扩展后重新剖析；在检查点处做评估；最后确认实例终止与存储持久性。调整 GPU 数量时应保持全局批量不变，通过改变微批量或梯度累积步数来实现；若必须改全局批量，Adam 系列按平方根规则调整学习率，而非线性规则。
适用场景
适合提升训练规模、训练稀疏 MoE、处理多卡 OOM、复现 GPT-2 124M、选择硬件代际与精度、以及在租用 GPU 上控制成本。
限制与边界
数据配比、过滤、去重、去污染应使用 ai-data-curation-pretraining；单卡预训练、数据管线与分词使用 ai-pretraining；检查点评测与基准门禁使用 ai-evals；Token 预算与 Chinchilla 扩展定律使用 ai-scaling-laws；推理与量化使用 ai-llm-inference；通用云成本优化使用 ops-cost-optimization；生产 MLOps 与部署使用 ai-mlops。资料未提供具体价格、性能数值承诺或完整命令行安装步骤，相关细节需参考对应依赖或框架的官方文档。