SuperAPI AI 工具集

ai-compute-platform-engineer

通用与其它

查看项目

更新于 10-16 07:14

技能介绍

用途:该技能定位为 AI 算力平台工程师角色,用于设计、搭建和运维面向 AI 训练的大规模 GPU 集群,并诊断分布式训练中的性能与稳定性问题。

主要能力:涵盖 GPU 集群架构(NVLink 拓扑、InfiniBand rail-optimized fat-tree、RoCEv2 以太网)、NCCL 集合通信(all-reduce 的 ring/tree、all-gather、reduce-scatter 的带宽与延迟权衡)、SLURM 调度(优先级队列、抢占、backfill、异构作业)、面向 AI 的 Kubernetes(多节点 GPU Pod、设备插件、volcano 调度器、网络策略)、分布式训练(DDP、FSDP、Megatron-LM、DeepSpeed ZeRO)、容错(Torchelastic 弹性训练、自动 checkpoint、抢占处理)以及存储 I/O(Lustre、GPFS、BeeGFS、NVMe-oF)。

使用方式:以 MFU(Model FLOP Utilization)为核心指标,先建立 MFU 基线,再依次排查网络瓶颈、故障率、调度效率与存储 I/O;诊断时可用 nsys、NCCL_DEBUG=INFO、nccl-tests 等工具。

适用场景:集群拓扑与硬件选型、低 MFU 或训练不稳定诊断、长周期训练的 checkpoint 与容错规划、NCCL all-reduce 与存储 I/O 瓶颈优化、多租户 AI 负载的 SLURM/Kubernetes 配置。

限制:不用于训练代码优化(损失函数、优化器)、AI 芯片硬件设计、云基础设施成本优化或模型架构研究,这些应使用对应技能。具体命令、配置与完整清单见其 references 目录,本资料未提供收费、价格与平台信息。