SuperAPI AI 工具集

runpod-discovery

部署与运维

查看项目

更新于 11-06 11:16

技能介绍

用途

runpod-discovery 面向 Runpod 目录的只读咨询场景,回答可用性、适配性与价格问题。它不改变任何资源,不创建、更新、停止或删除对象,查询结果仅作为建议,实际部署由其他技能负责。

主要能力

  • GPU 目录与价格、实时库存:通过 list-gpu-types / get-gpu-type 读取,配合 include:["AVAILABILITY"] 与 product(POD、CLUSTER 或 SERVERLESS)返回价格与库存。
  • 按数据中心查询 GPU 可用性:同一读取的 dataCenters 字段,或 list-data-centers / get-data-center 配合 include:["GPU_AVAILABILITY"],可按区域过滤;不同产品形态库存不同。
  • CUDA 版本容量:同一可用性读取中的 cudaVersions 列出有免费容量的宿主 CUDA 版本,get-capacity 提供跨 GPU 类型的矩阵视图。此类结果不含数据中心信息。
  • 数据中心与区域:list-data-centers、get-data-center 返回库存与网络流量档位所在位置。
  • CPU 目录:list-cpu-types、get-cpu-type 配合 include:["AVAILABILITY"] 与 product,用于 CPU Pod 与 CPU Serverless 规格选择。
  • Hub Worker 市场:list-hub-repos 按搜索词和类别(语言、图像、音频、视频、嵌入)查找预构建 Worker,并可返回配置信息。
  • 公共模板目录:list-public-templates 按 source 区分 official、verified、community,条目含 serverless 标志,目录最多返回 100 条且不分页。
  • 按使用量付费的公共端点:list-public-endpoints 按模态与所有者查询无需部署的托管模型 API,适合一次性任务。
  • 模型显存估算:权重显存约等于参数量(十亿)× 每参数字节数(fp16 为 2、int8 为 1、int4/awq/gptq 为 0.5),再加约 20% 用于 KV 缓存与激活;长上下文或高并发需更多余量。据此推荐满足估算且有库存的最小 GPU 规格,并给出大一档作为余量。

使用方式

用户提出库存、价格、区域、CUDA 容量、Worker、模板或一次性推理等问题时,技能调用上述只读工具,按真实约束过滤,只命名工具返回的条目,价格与库存直接引用输出,不基于记忆编造。查询结果为空时明确报告“未找到”,不静默扩大搜索范围。计算显存需求时说明所用精度与上下文假设;若用户未提供参数量且无法从模型读取,应询问一次而非猜测。

适用场景

  • 询问某显存档位或某区域的 GPU 是否有货及价格。
  • 判断某 GPU 在某区域或数据中心的容量,或选择端点允许的 CUDA 版本。
  • 根据模型参数与精度估算显存并选择合适 GPU。
  • 查找任务对应的 Hub 预构建 Worker 或公共模板。
  • 一次性推理需求下寻找按使用量付费的公共端点。

限制

  • 只读:不得调用任何变更类工具,不做部署。
  • 不编造:GPU 型号、区域、价格、Hub 仓库、公共端点均须来自工具返回。
  • 不自行推算价格,不给出“大约”数值;库存与价格以读取结果为准。
  • 显存估算只是带假设的建议,适配与部署属于 runpod-serverless-deploy 的职责。
  • include:["AVAILABILITY"] 与 product 必须成对使用,否则 API 返回 400。
  • 读取失败时应报告失败并停止,不从记忆作答。
  • 公共模板目录最多返回 100 条且不分页,应说明列表有上限。
  • 若会话中缺少所需工具,应说明并使用最近的只读替代,不得虚构结果。