SuperAPI AI 工具集

anth-load-scale

部署与运维

查看项目

更新于 10-15 22:42

技能介绍

用途:为 Claude API 集成做容量规划、负载测试与扩缩容设计。核心约束是速率限制(RPM/ITPM/OTPM)才是天花板,而非自有基础设施。

主要能力:按每分钟请求数、平均输入/输出 token 与模型估算所需 RPM、ITPM、OTPM 及月度成本,并给出是否需联系 Anthropic 销售升级到 Scale 层的建议;提供异步并发压测脚本,统计成功、失败、限流(429)、平均与 p99 延迟、token 总量;给出扩缩容策略对照,包括队列处理、模型路由、Message Batches、提示缓存、请求合并,以及多实例共享同一 API key 时用 Redis 做共享限流(速率限制按组织而非按实例计)。

使用方式:先确认组织与模型的速率限制、预算上限、测试环境、并发上限及成功/延迟/错误阈值;仅在获批沙箱中用合成提示与空结果接收器运行,禁止压测生产或使用真实客户内容。从小规模金丝雀开始,按有界步长提升并发,由共享限流器协调所有 worker,触及错误、预算、数据范围或延迟阈值立即停止。区分实时流量与批处理,用队列背压而非无界创建任务,遵守提供方重试元数据并避免同步重试。对比基线与候选指标(含 token/成本聚合与 side_effects=0),经负责人批准后再推广,出现回退则还原自动扩缩容/限流器改动。

输出:返回容量回执,含工作负载类别、模型、并发步长、请求/token 聚合数、p50/p95/p99 延迟、状态与 429 计数、队列深度、成本估算、阈值判定、金丝雀结果、回滚引用与清理状态,不含载荷或密钥。

限制:资料未提供具体价格以外的收费、平台支持范围或效果保证;示例中的模型名与价格仅为资料所载,实际以官方为准。