用途：在 CoreWeave 上运行分布式 GPU 训练，覆盖单节点多卡与多节点训练，使用 PyTorch DDP、Slurm-on-Kubernetes 和共享存储。该技能为社区贡献，与 CoreWeave, Inc. 无隶属、背书或赞助关系，CoreWeave 为其注册商标。
前置条件：具备多 GPU 节点池（8xA100 或 8xH100）的 CKS 集群；共享存储（CoreWeave PVC 或 NFS）；含 PyTorch 与 NCCL 的训练容器。
主要能力与用法：
- 单节点多卡训练：提交 batch/v1 Job，容器以 torchrun 启动，参数如 --nproc_per_node=8，并设置 nvidia.com/gpu、内存与 CPU 资源上限，挂载数据与检查点卷，通过 nodeAffinity 指定 GPU 类型。
- 持久化存储：用 PersistentVolumeClaim 声明训练数据与模型检查点卷，访问模式 ReadWriteMany，指定存储类如 shared-hdd-ord1、shared-ssd-ord1。
- 监控进度：使用 kubectl logs -f job/llm-finetune 查看日志，进入 Pod 执行 nvidia-smi 查看 GPU 利用率，或读取 /checkpoints/training_log.json 尾部查看训练指标。
错误处理：NCCL 超时通常为 GPU 间网络问题，可使用 NVLink 节点（SXM4/SXM5）；OOMKilled 因批次过大，可减小 batch size 或使用梯度累积；检查点保存失败因 PVC 已满，可扩容或清理旧检查点；Job 被驱逐因抢占，训练应使用按需节点。
输出：绑定到显式选定节点、存储与检查点资源的 GPU 训练 Job；可重复的监控轨迹（Pod 状态、GPU 利用率、训练指标），不暴露模型输入或凭据；检查点存于批准的 PVC，便于失败或被抢占后从已知状态恢复。
限制与建议：调度昂贵多卡任务前，先在同一命名空间提交小规模可信冒烟任务，检查调度事件与 GPU 分配。若 Job 无法调度，在增加配额或更改节点选择器前先停止，与平台负责人确认命名空间配额、批准的 GPU 类别与 PVC 绑定，并保留失败事件输出且脱敏密钥与客户数据。排障可参考 coreweave-common-errors。