SuperAPI AI 工具集

anth-rate-limits

编程与开发

查看项目

更新于 10-15 22:42

技能介绍

用途:帮助开发者实现 Anthropic Claude API 的速率限制、退避与配额管理,适用于处理 429 错误、优化请求吞吐、管理 RPM/TPM 预算等场景。

主要能力:Claude API 采用令牌桶限流,按每分钟请求数(RPM)、每分钟输入 token(ITPM)、每分钟输出 token(OTPM)三个维度计量,限制按组织与模型类别划分,缓存输入 token 不计入 ITPM。用量层级随月度支出自动升级(Tier 1 免费、Tier 2 40 美元以上、Tier 3 200 美元以上、Tier 4 2000 美元以上,Scale 为定制),可在 console.anthropic.com 查看当前层级与限制。

使用方式:SDK 默认自动重试 429 与 5xx 错误(默认 2 次),可用 anthropic.Anthropic(max_retries=5) 或 new Anthropic({ maxRetries: 5 }) 调整,设为 0 可手动控制。自定义限流器可读取响应头 anthropic-ratelimit-requests-remaining、anthropic-ratelimit-tokens-remaining、anthropic-ratelimit-requests-reset 更新共享限流状态,并在 429 时按 retry-after 头退避。队列方案可用 p-queue 设置 concurrency、interval、intervalCap 控制 RPM。批量离线任务可用 Message Batches API,成本更低且不占用实时配额。

限制与注意:需记录授权组织/模型限制、预算上限、重试上限与共享限流策略,不要用本地压测推断生产限制;实验应使用合成提示与沙箱,日志需排除 API 密钥、提示、补全、工具参数与用户标识;重试需加抖动与最大延迟并限制次数,跨实例协调 RPM 与 token 预算,限流变更需用合成流量做金丝雀验证并可回滚。输出限流回执应包含模型类别、配置与观测限制、限流器版本、请求/token 计数、retry-after 处理、429 次数、队列/批处理处置、金丝雀结果、回滚引用与清理状态,且不含载荷或密钥。安全配置参见 anth-security-basics。