用途:设计或审查 LiteLLM Router 的路由与可靠性配置,适用于需要多 deployment、跨 provider 备援或可靠性测试的任务。预算政策交由成本治理技能处理。
主要能力:定义面向用户的 model group、deployments、region、容量与故障域;查核当前支持的 routing strategy、retry、timeout 与 fallback schema;配置有限重试与整体 timeout,并定义有顺序的 fallback;多实例共享路由或健康状态时评估 Redis;分别测试正常路由、429、timeout、primary 失败与全部 deployments 失败;以 readiness 判断是否接流量、liveliness 判断是否重启,不把会实际调用模型的 /health 当高频免费探针;回报实际命中的 deployment、重试次数、延迟与成本影响。
使用方式:需要配置示例、fallback mock 或 health endpoint 细节时,读取实验与参考。mock_testing_fallbacks 需明确放在 request body 或 SDK 调用参数中。
安全底线:fallback 不得绕过模型权限、数据区域、guardrail 或预算限制;不以同一 provider、同一 region 作为唯一灾难备援;不设置无限重试或无上限 timeout;测试不得用大量付费流量制造 429。
验收:primary、retry、fallback 的顺序可由 log 或 trace 证明;全部 provider 失败时返回受控错误;health probes 的用途、频率、认证与成本均有定义。