litellm
LiteLLM 是一个统一的 LLM API 调用工具,提供单一接口调用 100 多个大模型服务商,涵盖 OpenAI、Anthropic、Google Gemini、Mistral、Cohere、Azure、Bedrock、Ollama 等。开发者只需使用 OpenAI SDK 格式编写一次代码,通过修改模型字符串即可切换服务商,返回统一的 OpenAI 兼容响应格式。LiteLLM 还能以代理服务器形式运行,为团队提供负载均衡、自动故障转移、限流、费用追踪和 API 密钥管理能力。它支持 Python SDK 调用和代理模式,代理模式下任何语言的 OpenAI 客户端都可接入,支持流式输出。可通过 pip 安装,模型采用 provider/model 格式,环境变量可自动识别。