SuperAPI AI 工具集

vastai-rate-limits

部署与运维

查看项目

更新于 10-15 23:30

技能介绍

用途:围绕 Vast.ai 的端点级与身份级限流,以及对缺少 Retry-After 头的现状,诊断并设计有边界的 CLI 与 REST 流量方案。

主要能力:把调用按端点、HTTP 方法、令牌、会话用户、查询键和客户端 IP 分组以确定身份边界;统一一处重试层(CLI 用 --retry,REST 仅对 429 做带上限退避和总截止时间);用缓存与渐进拉长间隔替代密集轮询;通过排队、错峰和批量摊平突发,并按端点限制并发;达到调用预算即停止并返回可重试结果;持续压力时上报端点、身份形态、实测调用速率与 429 率申请更高限额。

使用方式:先清点端点与调用量并指定唯一的重试、轮询、截止时间与并发负责人,建立调用、429、延迟、缓存命中和放弃任务的指标;CLI 命令配置 --retry 后不再套外层指数退避;REST 遇到 429 在总截止时间内退避,不等待 Retry-After;非 429 的 4xx 不自动重试,而是修复参数、认证或权限;只读清单、配置与测试,未经明确批准不创建、更新、销毁或注资 Vast.ai 资源。

适用场景:就绪状态监视器可用单条 CLI 命令加 --retry 3,仅在状态过渡期间轮询、拉长间隔,并在进入 running、exited、unknown 或 offline 时立即退出。

限制:官方资料未提供具体限流数值、配额上限与价格信息;每个 worker 应使用最窄权限密钥,不得靠轮换密钥规避限流,日志中需脱敏令牌与查询凭据。