SuperAPI AI 工具集

clade-load-scale

智能体与模型

查看项目

更新于 10-15 22:42

技能介绍

用途:面向高吞吐量应用扩展 Claude 的调用能力,适合批量或高并发工作负载。

主要能力:包括四项策略。一是消息批处理(Message Batches),据资料每批 10K 请求、便宜 50%、不受速率限制,最多可并发处理 100 个批次,但为异步处理,SLA 为 24 小时。二是使用 p-limit 做请求队列与并发控制,例如 pLimit(10) 匹配速率限制层级。三是速率限制层级升级,资料列出 Tier 1 RPM 50 / 输入 TPM 40K(免费)、Tier 2 RPM 1,000 / 80K(累计消费 40 美元以上)、Tier 3 RPM 2,000 / 160K(200 美元以上)、Tier 4 RPM 4,000 / 400K(400 美元以上),Scale 为自定义需联系销售。四是按吞吐选择模型,资料称 Haiku 比 Sonnet 快 3-4 倍、比 Opus 快 8 倍,应在满足质量前提下选最快模型。另有规模化监控示例,按分钟统计请求数与 token 数。

使用方式:批处理调用 client.messages.batches.create,为每个请求设置 custom_id 与 params;队列用 p-limit 限制并发后搭配 client.messages.create;模型按任务复杂度选择,如简单任务用 claude-haiku-4-5-20251001,否则用 claude-sonnet-4-20250514。

适用场景与限制:适合高并发、批量、对吞吐敏感的 Claude 应用。批处理需容忍异步;层级与价格等数据来自资料,实际以官方为准。错误处理参见 clade-common-errors,容错高规模模式参见 clade-reliability-patterns,前置条件为已完成 clade-rate-limits。具体实现细节与支持的模型清单暂未提供。