SuperAPI AI 工具集

runpod

部署与运维

查看项目

更新于 10-16 01:35

技能介绍

用途:在 RunPod 租用 GPU 执行本地无法完成或过慢的工作,如超出本机显存、需要 CUDA 或单机多卡的任务,包括基准测试网格、微调与蒸馏、短期模型服务以及重复租用场景。核心规则是“预烘焙,绝不在 Pod 上安装”:所有可安装内容放进容器镜像,Pod 启动只负责拉镜像、起 sshd、跑负载;Pod 上 apt、pip 与源码编译都按分钟计费却无收益。

主要能力:提供五个模板文件。Dockerfile 构建预烘焙 CUDA 镜像(匹配 glibc 基础镜像、复制预编译二进制、按锁文件预装依赖环境、让环境对 ssh 可见);start.sh 注入 PUBLIC_KEY、启动 sshd 并打印就绪标记;pod-up.sh 创建 Pod、等待 RUNNING 与 ssh、校验环境并输出各阶段时间;pod-run.sh 支持 launch/status/fetch,rsync 项目后在 tmux 中后台运行并回取结果;pod-down.sh 销毁 pod-up.sh 记录的 Pod。所有模板通过环境变量参数化(如 RUNPOD_API_KEY、POD_IMAGE、POD_SSH_KEY、POD_NAME、POD_HOST、POD_PORT、POD_REMOTE_DIR、POD_JOB_CMD、POD_RESULTS)。

使用方式:先用 GraphQL 查询显卡库存与价格,因为库存按(显卡类型、数量)区分,REST 无 gputypes 路径;创建 Pod 时通过 env 传入 PUBLIC_KEY,allowedCudaVersions 固定避开有容器启动 bug 的宿主机池,containerDiskInGb 按两份模型加缓存规划,gpuCount 指定单机多卡数量。推送前本地用 docker buildx 与 docker run 验证链接与预烘焙环境;随后同步项目、在 tmux 中分离运行,用显式 STAGE/READY/FAILED 标记校验,取回结果后立刻终止。批量网格可用多个独立单卡 Pod 并行扇出,按预估时长而非条目数切片,先端到端验证一个 Pod 再复制到整个集群,用本地 reaper 循环在任务链结束后自动抓取、校验并删除。

限制与注意事项:镜像、生命周期与成本纪律由使用者自行管理;需要处理 rsync 在容器内 chown 失败(用 --no-owner --no-group)、sshd 不继承 Dockerfile ENV、REST 创建的 Pod 不自动注入 ssh key、Python 输出缓冲需 PYTHONUNBUFFERED=1、ssh 循环需 -n、zsh 不做词分割等问题;已完成 Pod 在终止前持续计费,抓取失败或探测不可达时不得终止。资料未提供具体价格与更详细的参考文档全文。