SuperAPI AI 工具集

saas-rate-limiting-and-quotas

部署与运维

查看项目

更新于 10-16 05:44

技能介绍

用途:为池化或多租户 SaaS 设计每租户限流与配额,避免噪声邻居互相影响,并提供计划感知的配额与用量展示。适用于设计按租户的请求速率、并发、周期配额、按资源配额;为共享工作池做公平排队;在边缘、网关、服务、数据库连接池、异步队列间协调限额;设计命中限额时的响应契约。不适用于一般性能优化、配额目录(应使用 saas-entitlements-and-plan-gating)以及纯队列调度。

主要能力:需要四类限额——请求速率、并发、周期配额、按资源配额。算法选择:令牌桶用于有突发容忍的速率限制,滑动窗口用于严格滚动窗口与周期配额,固定窗口用于成本低、边界突发可接受的计数,漏桶用于平滑出队,原子计数器用于并发门控。默认建议:速率用令牌桶、周期配额用滑动窗口、并发用原子计数。执行层级由近边缘到内层依次为:边缘/CDN、网关、应用/服务、数据库连接池、异步工作进程;越靠边缘越省资源,边缘可在极短时间内返回 429。存储默认 Redis(托管可选 ElastiCache、Upstash、Redis Cloud),使用原子 Lua 脚本;大规模可用 Redis 集群或厂商限流。响应契约:速率/并发违约返回 HTTP 429;计划配额违约返回 402 或 403;始终带上 X-RateLimit-Limit、X-RateLimit-Remaining、X-RateLimit-Reset,429 附 Retry-After,并在响应体给出错误码、限额类型、租户、当前用量、升级链接。共享工作池需按租户队列加轮询调度、加权公平排队、每租户并发上限,避免一个租户批次拖垮全局。

使用方式:先读取 SKILL.md,清点限额清单,按限额类型选算法,选执行层与存储,设计响应契约,为共享资源加公平排队,向租户暴露用量面板与 API,并记录 usage.approaching_limit / usage.limit_hit 事件。

适用场景与限制:适合多租户、混合部署模式下的限额运行时执行;AI 场景中令牌、生成次数、美元额度、并发智能体会话、智能体步数等由 LLM 网关、智能体运行时、KB 服务分别执行。反模式包括:只按 IP 限流、只按 API Key 限流、先查后增的竞态、仅应用层执行、无公平排队、无面向租户的用量面板。具体价格、平台对比、SLA 数值暂未提供。