用途:为 LLM 应用构建容错与优雅降级能力,在主服务商或模型出现故障、限流、超时时维持服务,并支持成本与质量的权衡。
主要能力:提供 FallbackChain 类,按 priority 排序依次尝试多个服务商;支持 maxRetries、retryDelayMs、circuitBreakerThreshold、circuitBreakerResetMs 配置;通过 isRetryableError 判断 429、5xx、ETIMEDOUT、ECONNRESET 等可重试错误;executeWithTimeout 以 30000 毫秒超时控制单次调用。还包含三种降级策略:按质量层级逐级降级(GracefulDegrader)、按能力特性回退(FeatureFallback,如 streaming、functionCalling、imageAnalysis)、缓存响应兜底(CacheFallback)。ProviderHealthMonitor 可周期性检查健康状态与延迟,FallbackAlerts 在回退或全部失败时发出告警。
使用方式:先创建 FallbackChain 并传入配置,再用 addProvider 依次添加主模型与备用模型(示例含 claude-sonnet-4-6、gpt-4o、claude-haiku-4-5、gpt-4o-mini),最后调用 complete 发起请求。
适用场景:多服务商 AI 基础设施、高可用 AI 系统、成本与质量分层、API 故障期间维持服务。
限制:资料未提供具体安装命令、依赖包、价格与性能数据;示例代码为 TypeScript 风格,需自行适配实际 SDK 与运行环境。