SuperAPI AI 工具集

coreweave-common-errors

通用与其它

查看项目

更新于 10-16 09:57

技能介绍

用途:该技能是一份 CoreWeave 常见错误的分诊指南,用于在改动容量或凭据之前,先对 GPU、Kubernetes、存储与连通性故障做分类,并采取命名空间范围内、可回滚的修复动作。

前提:需要受影响命名空间的只读访问权限、Pod 事件、配额与节点标签信息,并明确工作负载名称、预期 GPU 类别,以及指定的服务或平台负责人。

使用方式:先定位 Pod、Job 或 Service 并收集其状态与近期事件;将症状与错误参考表匹配,再用只读命令验证拟定的原因,最后应用修复并验证恢复,把脱敏后的事件与命令结果记录到事件或变更单中。

主要能力(错误参考):

  1. Pod 卡在 Pending:用 kubectl describe pod <pod-name> | grep -A5 Events 查看是否提示 insufficient nvidia.com/gpu,可用 kubectl get nodes -l gpu.nvidia.com/class=A100_PCIE_80GB 检查 GPU 可用性,尝试其他 GPU 类型或区域。
  2. CUDA 显存不足:减少 batch size、启用 gradient checkpointing,或改用更大显存 GPU。
  3. Image Pull BackOff:创建 imagePullSecret,例如 kubectl create secret docker-registry regcred --docker-server=ghcr.io --docker-username=$GH_USER --docker-password=$GH_TOKEN。
  4. 多 GPU NCCL 超时:确保所有 GPU 位于同一节点(NVLink),跨节点时使用 InfiniBand 连接节点。
  5. PVC 无法挂载:用 kubectl get sc 检查存储类,使用 shared-hdd-ord1 或 shared-ssd-ord1 等 CoreWeave 存储类。
  6. 节点亲和性不匹配:用 kubectl get nodes -o json | jq -r '.items[].metadata.labels["gpu.nvidia.com/class"]' | sort -u 列出有效 GPU 类标签。
  7. Service 不可达:用 kubectl get svc,endpoints <service-name> 检查 Service 与 Endpoints。

输出:得到分类后的故障、带脱敏事件的佐证以及有边界的恢复动作;要么验证恢复成功,要么明确上报平台负责人。

错误处理:原因不明时停止猜测性改动并收集脱敏调试包;需要改配额或容量时须获命名空间负责人批准,不得改动集群级配额;怀疑凭据失败时通过批准的密钥管理器轮换或吊销,绝不打印或粘贴凭据;怀疑数据或模型产物损坏时先隔离并校验 checksum。

限制:该技能为社区贡献,与 CoreWeave, Inc. 无隶属、背书或赞助关系,CoreWeave 是其注册商标。容量不可用时不要为强制调度而移除亲和性或配额控制,而应保留 Job 原状并携脱敏事件上报。