用途:优化 Anthropic Claude API 的调用延迟。资料将延迟拆分为首字时间(TTFT)与每秒输出 token 数(TPS),并给出针对性的优化策略。
主要能力与用法:
- 始终启用流式输出,让用户尽快看到首个 token,而非等待完整响应。
- 使用提示缓存(cache_control: { type: 'ephemeral' },配合 claude-beta: prompt-caching-2024-07-31 头),在命中缓存时显著降低大系统提示的 TTFT。
- 对速度敏感路径选用 Haiku,用于分类、抽取、简单问答与路由决策,再交由 Sonnet/Opus 处理实际任务。
- 复用客户端实例(模块级单例),避免每请求新建连接池。
- 对相互独立的调用使用 Promise.all 并行发起。
- 精简输出 token,设置紧凑的 max_tokens 并约束回答简洁。
资料还给出近似延迟基准:Haiku 4.5 的 TTFT p50 约 200ms、p95 约 600ms、输出约 150 TPS;Sonnet 4 约 400ms/1.2s/90 TPS;Opus 4 约 800ms/2.5s/40 TPS。
限制与错误处理:TTFT 超过 3 秒多因大提示未缓存,应启用提示缓存;简单任务用 Opus 会拖慢输出,应降级;长生成超时可设置 new Anthropic({ timeout: 120_000 });遇到 529 过载由 SDK 自动重试并可加备用模型。使用前提为已完成 clade-install-auth,且应用对延迟敏感、了解流式与异步模式。具体价格、平台支持与完整代码示例资料未提供。