用途:解决多模型接入中的厂商锁定、单点故障、A/B 测试困难与密钥配置分散问题,提供统一 API 访问多家模型。
主要能力:OpenRouter 提供 400+ 模型、单一 API 密钥、自动回退、A/B 测试与统一计费;LiteLLM 为自托管方案,支持 100+ 提供商、负载均衡、成本追踪、Redis/内存缓存与按用户限流。模型 ID 采用 provider/model-name 格式。可配置回退链、按成本/延迟/任务/混合策略路由。
使用方式:OpenRouter 注册获取密钥后写入环境变量 OPENROUTER_API_KEY,通过 https://openrouter.ai/api/v1/chat/completions 调用,可配合 Vercel AI SDK。LiteLLM 使用 pip install litellm[proxy] 安装,litellm --config config.yaml 启动代理,作为 OpenAI 兼容端点使用,在 config.yaml 中配置 model_list、router_settings、litellm_settings。
适用场景:需要多模型切换、可靠性回退、成本控制、模型对比测试的应用。
限制与说明:资料中提及的模型价格(如 ~$0.15/1M tokens、~$3/1M tokens)为参考数值,实际以官方为准;资料未提供完整安全与合规细节,部分高级配置需自行验证。