LiteLLM 是一款开源 AI 网关（LLM 代理），面向平台团队，用于将整个 AI 技术栈统一到一个与 OpenAI 兼容的 API 密钥之后。其核心目标是让组织内所有成员都能访问各类模型、智能体和 MCP，同时让平台团队能够查看、控制和优化每一个请求。
【用途与定位】 LiteLLM 作为 AI 网关，在众多 LLM 提供商之前提供单一控制点。它为应用程序提供统一的调用 API，为平台团队提供跨所有模型的集中成本追踪、预算、路由、缓存和治理。资料称其为“AI Gateway for platform teams”，开源且自托管。
【主要能力】
- 统一访问：一个与 OpenAI 兼容的 API 覆盖 140+ 提供商、1,800+ 模型（另一处提及 1,892 个模型），无需更改应用代码即可换模型。支持通过 SSO 单点登录，按团队、项目或应用划分权限，支持新模型的 Day-zero 支持，并可通过同一网关访问智能体和 MCP 服务器，还可将自托管的内部模型、微调模型也置于同一密钥之后。
- 可见性与控制：按密钥、用户、团队、组织、工具、智能体及 MCP 追踪使用量和支出，支持企业级计费分摊。可为密钥、团队、组织、模型设置硬性预算（按日/月重置），达到上限即停止请求；提供速率限制和泄露密钥保护、模型访问控制与护栏，并为每个请求保留审计日志。
- 成本优化：无需改代码即可换模型，Auto Routing 将简单提示发给便宜模型、困难提示发给更强模型；支持跨提供商、区域和密钥的负载均衡，以及最低成本路由；支持响应缓存和语义缓存（Redis、S3、GCS），并支持提示压缩以减少 token 消耗。
- 部署便利：官方提供 Helm chart 或 Terraform 模块、官方 Docker 镜像（含数据库捆绑与非 root 变体），可运行在自有 Postgres 和 Redis 上，通过 Kubernetes 自动扩缩容，支持自托管于任意环境包括完全气隙环境，也可一键部署到 AWS、GCP 或 Azure。
- 性能：资料称 LiteLLM Rust AI Gateway 在基准测试中 p99 仅增加 0.66 ms，比下一个 AI 网关低 3.5 倍开销（基于 AI Gateway Bench）。
【使用方式】 可通过官方 Helm chart 或 Terraform 模块部署；使用官方 Docker 镜像；运行在自有 Postgres 和 Redis 上；支持 Kubernetes 自动扩缩容；可自托管于自有云或完全气隙环境；也可一键部署到主流云平台。开源网关采用 MIT 许可，可免费自托管。
【适用场景】 适合平台团队为整个组织统一提供模型访问、集中管理密钥和预算、进行成本分摊与优化、在多个提供商之间路由和负载均衡、以及需要自托管或气隙部署以保障数据不外泄的场景。
【限制与说明】 开源版包含 140+ LLM 提供商集成、Langfuse、Arize Phoenix、LangSmith 和 OTEL 日志、虚拟密钥、预算和团队、负载均衡和 RPM/TPM 限制等。企业版在相同开源核心之上增加 JWT 认证、SSO、RBAC、审计日志、SCIM 配置和专属支持。具体价格、收费细节以及部分集成说明资料中暂未提供。
