SuperAPI AI 工具集

coreweave-deploy-integration

部署与运维

查看项目

更新于 10-15 22:42

技能介绍

用途:在 CoreWeave Kubernetes(CKS)上部署 GPU 加速的推理服务,适用于多模型推理与规模化 GPU 部署场景。该技能为社区贡献,与 CoreWeave, Inc. 无隶属、背书或赞助关系,CoreWeave 为其注册商标。

主要能力:用 NVIDIA CUDA 基础镜像容器化推理负载;配置 GPU 资源限制与节点亲和性以调度 A100/H100;设置校验 GPU 可用性和模型加载状态的健康检查;执行尊重 GPU 节点排空的滚动更新。CoreWeave 调度器要求显式声明 GPU 资源请求,才能将 Pod 放到正确的硬件层级。

关键配置:Dockerfile 使用 FROM nvidia/cuda:12.4.0-runtime-ubuntu22.04 AS base,安装 python3、python3-pip、curl,复制 requirements.txt、src/、models/,以非 root 用户运行,暴露 8080 端口并设置 HEALTHCHECK 调用 /health。环境变量包括 COREWEAVE_API_KEY、COREWEAVE_NAMESPACE、MODEL_NAME、GPU_TYPE、GPU_COUNT、LOG_LEVEL、PORT。

使用方式:前置条件为已审核镜像摘要、命名空间级 image pull secret、含资源限制与健康检查的生产部署清单及回滚版本,以及目标命名空间、GPU 容量和服务暴露的审批。流程为先构建并扫描镜像,将不可变摘要部署到 staging 验证就绪、健康、GPU 分配与基线请求行为,再用带超时和命名观察者的受控滚动更新;若就绪、错误率、延迟或安全验证失败则立即回滚。命令示例:docker build/push 到 registry.coreweave.com;kubectl apply -f k8s/deployment.yaml -n tenant-my-org;kubectl set image deployment/inference-svc;kubectl rollout status 带 --timeout。

常见问题:Pod 挂起多因无对应型号 GPU 节点,可用 kubectl describe node 检查或更换 GPU 层级;OOMKilled 因模型超出显存,可减小模型、启用量化或换更大 GPU;nvidia-smi not found 说明缺 NVIDIA 设备插件;401 为凭据无效或过期;滚动更新慢可设 terminationGracePeriodSeconds: 300。

限制:资料未提供具体价格、SLA 数值、支持模型完整清单与 Helm/Kustomize 示例细节,相关内容暂未提供。