SuperAPI AI 工具集

coreweave-hello-world

部署与运维

查看项目

更新于 10-15 22:42

技能介绍

用途:在 CoreWeave 的裸金属 GPU 节点(A100、H100、L40)上部署第一个 GPU 工作负载,适合首次运行 GPU 任务、测试推理或验证集群访问。

主要能力:提供两类示例清单——用 vLLM 部署 OpenAI 兼容推理服务(Deployment + Service),以及运行 PyTorch CUDA 批处理基准任务(Job)。包含 GPU 资源声明、节点亲和性选择 GPU 型号、HuggingFace token Secret 创建、端口转发与 curl 冒烟测试,以及常见错误(Pending、OOMKilled、镜像拉取失败等)的排查方向。

使用方式:前置条件为完成 coreweave-install-auth 设置、kubectl 已配置 CoreWeave kubeconfig、命名空间具备 GPU 配额。创建 Secret:kubectl create secret generic hf-token --from-literal=token="${HF_TOKEN}";部署:kubectl apply -f vllm-inference.yaml;查看:kubectl get pods -w;测试:kubectl port-forward svc/vllm-server 8000:8000 后调用 /v1/chat/completions。批处理任务用 kubectl apply -f gpu-batch-job.yaml 与 kubectl logs job/gpu-benchmark --follow。

适用场景:首次接入 CoreWeave 集群、验证 GPU 调度与运行时、搭建最小推理端点或跑一次 CUDA 冒烟测试。

限制:为社区贡献内容,与 CoreWeave, Inc. 无关联、未获其背书或赞助;CoreWeave 为其注册商标。示例默认使用 A100_PCIE_80GB,其他 GPU 型号、配额、计费与价格信息暂未提供。建议先验证批处理路径再暴露公开端点,记录脱敏结果后删除冒烟任务;若任务持续 Pending,应检查事件与命名空间配额,不要扩大集群权限或在清单中内嵌镜像凭据。后续可参考 coreweave-local-dev-loop 进行开发流程设置。