SuperAPI AI 工具集

routing-architecture

设计与创作

查看项目

更新于 10-16 00:04

技能介绍

用途:该文档是 LiteLLM-RS 的路由架构指南,说明如何在 66+ 个 LLM 提供商之间进行智能选择。核心设计原则包括无锁(使用 DashMap 实现并发访问,避免互斥锁)、健康感知(持续监控提供商健康状态)、可配置(多种策略并支持运行时选择)以及回退链(自动故障转移到备用提供商)。

主要能力:提供 7 种路由策略。SimpleShuffle 为默认策略,从健康提供商中随机选择,适合能力均等、无偏好场景;RoundRobin 顺序轮转,保证均匀分布,适合需要可预测分布或调试提供商问题;LeastBusy 选择活跃请求最少的提供商,适合高并发、防止过载;LatencyBased 选择平均延迟最低者,适合对响应时间敏感的场景;PriorityBased 为请求模型选择成本最低的提供商,适合成本优化;UsageBased 依据令牌/请求配额路由,优先剩余配额最多的提供商,适合配额与成本控制;RateLimitAware 避开被限流的提供商,全部限流时选择等待最短者,适合高请求量且提供商限流严格的场景。

使用方式:通过 YAML 配置 routing.strategy 选择策略,可选 simple_shuffle、round_robin、least_busy、latency_based、priority_based、usage_based、rate_limit_aware;并可配置 health_check(enabled、interval_seconds、consecutive_failures_threshold)、fallback(enabled、max_retries、retry_delay_ms)、load_balancing(enabled、weights)与 rate_limit(track_per_provider、default_retry_after_seconds)。健康跟踪通过 HealthTracker 记录成功/失败,连续失败 1-2 次标记为 Degraded,更多次标记为 Unhealthy。回退链 FallbackChain 先尝试主提供商,失败且可回退时按顺序尝试备用提供商。

限制:资料未提供具体安装命令、依赖版本、性能基准数据、收费信息或完整 API 参考;部分代码示例在资料中被截断(如 create_router 的 match 分支未完整给出)。