SuperAPI AI 工具集

anth-reference-architecture

智能体与模型

查看项目

更新于 10-15 22:42

技能介绍

用途:为 Claude API 集成提供三种已验证的架构模式,帮助在设计 Claude 应用时在直接 API 与队列方案之间做出选择。

主要能力:

  1. 同步 API 网关:用户→API 网关→Claude 服务→Messages API,适合聊天机器人、交互工具、低并发(<100 RPM)。示例使用 FastAPI 与 anthropic 客户端,设置 max_retries=3、timeout=60.0。
  2. 异步队列处理:用户→API→队列(Redis/SQS)→工作池→Messages API,适合批处理、高并发、后台任务。示例使用 Redis 与 RQ,结果写入 result_store 并设置 3600 秒过期。
  3. 多模型路由:用户→路由器→Haiku(分类/抽取)、Sonnet(通用/代码)、Opus(研究/复杂)、Batches(批量/离线)。先用 Haiku 分类复杂度,再按映射选择模型执行。

使用方式:按工作负载选择最小架构——交互调用用网关,异步工作用队列,仅在模型策略与质量测试支持时用路由器。凭据与策略执行保持在服务边界,入队或发送前校验模型、token、速率、数据分级、来源与目标范围。用合成夹具测试成功、超时、429/5xx、重复、队列重试、工具调用与部分响应路径,确保追踪与结果存储不含提示、响应与密钥。在隔离工作区金丝雀验证,观察 SLO、成本与速率限制,生产前需审批并保留旧拓扑。

错误处理:同步网关遇 429/5xx 用熔断器与回退响应;队列工作器崩溃用死信队列与重试策略;路由器误分类默认回退 Sonnet。

限制与前置条件:需先确定工作负载类别、可用性/延迟 SLO、数据分级、批准目标与同步/异步行为及负责人;提供隔离工作区、最小权限密钥管理凭据、合成夹具、有界队列/并发设置及已测试的回滚/熔断方案;选择架构前定义幂等、保留、死信与脱敏证据要求。多环境设置参见 anth-multi-env-setup。