用途:在调用 LLM API 时实现客户端限流,防止配额耗尽、管理并发请求、应对突发流量并实现公平使用策略。适用于命中 API 速率限制、需要控制并发或处理突发流量的场景。
主要能力:提供多种限流实现模式,包括令牌桶算法(按容量与补充速率控制令牌消耗)、滑动窗口限流器(限制单位时间请求数并计算等待时间)、并发请求限制器(限制同时运行请求数并排队)、指数退避(含抖动,避免惊群,区分可重试错误如 429、5xx、网络错误)、请求队列(按优先级与到达时间排序,结合限流与并发控制)、限流响应头处理(解析 Anthropic 与 OpenAI 的剩余请求/令牌及重置时间,接近上限时主动降速)以及限流监控指标(总请求、被限流请求、平均等待时间、峰值并发、错误率)。
使用方式:资料给出 TypeScript 类与函数示例,如 TokenBucket、SlidingWindowLimiter、ConcurrencyLimiter、ExponentialBackoff、RequestQueue、RateLimitMonitor,以及 handleAnthropicResponse、parseOpenAIHeaders 等。可按示例实例化并包装 API 调用,例如先 waitForTokens 再 callAPI,或在队列中 enqueue 执行。
限制与注意:资料中的速率限制表标注为 2026 年数据,实际配额以各 API 官方为准;示例为客户端实现,不能替代服务端限流;需自行设置合理超时与回退策略,并记录限流事件用于容量规划。具体安装命令与依赖暂未提供。