SuperAPI AI 工具集

coreweave-sdk-patterns

部署与运维

查看项目

更新于 10-15 22:42

技能介绍

用途:为在 CoreWeave 这类 Kubernetes 原生 GPU 平台上构建推理客户端、管理 GPU 部署提供可复用的代码模式。

主要能力:一是 GPU 亲和性辅助,通过 GPUConfig 数据类与 GPU_CATALOG 定义 A100、H100、L40 等 GPU 类别,生成 nodeAffinity 块(基于 gpu.nvidia.com/class 标签)与资源 limits/requests。二是推理客户端封装 CoreWeaveInferenceClient,提供 generate、chat、health 方法,调用 /v1/completions、/v1/chat/completions、/health 端点。三是部署模板生成器 generate_inference_deployment,输出含副本数、镜像、端口、GPU 资源与亲和性的 Deployment YAML。

使用方式:先准备命名空间级 Kubernetes 凭据与端点、镜像与 GPU 类别、私有仓库或模型访问的密钥管理引用。生成清单后先审查命名空间与 GPU 资源限制,再在预发环境执行:kubectl -n inference-staging apply --dry-run=server -f summarizer.yaml,随后 apply 并用 kubectl rollout status 检查。

限制与注意:资料明确该技能为社区贡献,与 CoreWeave, Inc. 无关联、未获其背书或赞助,CoreWeave 为其注册商标。切勿将令牌写入生成的 YAML 或应用日志。若校验或发布失败,应保留已审查清单与脱敏事件,不要扩大客户端凭据或绕过准入策略。常见错误包括 GPU 类别拼写错误、推理 OOM、服务未就绪导致连接被拒。其他细节暂未提供。