Berri AI 提供 LiteLLM——一个开源 AI 网关（LLM 代理），把整个 AI 技术栈放在一个兼容 OpenAI 的密钥之后。它面向平台团队，用于集中访问、观测、控制与优化对各类大模型、智能体和 MCP 的调用。
用途 LiteLLM 的核心用途是作为企业 AI 调用的统一控制点：让应用通过一个 API 调用众多模型提供商，同时让平台团队集中进行成本追踪、预算控制、路由、缓存与治理。官方称其支持 140+ 提供商、1,892 个模型。
主要能力 访问方面：提供单一兼容 OpenAI 的 API，可对接 140+ 提供商与 1,800+ 模型，切换模型无需改动应用代码；支持 SSO 单点登录，并按团队、项目或应用划分权限；对新模型提供“零日支持”；除 LLM 外，还可通过同一网关访问智能体与 MCP 服务器；支持接入自有、微调及自托管模型。 可见性与控制方面：按密钥、用户、团队、组织、工具、智能体和 MCP 追踪用量与花费，覆盖 140+ 提供商；支持企业级分摊计费；可按密钥、团队、组织、模型设置硬预算，按日/月重置，达到上限即停止请求；提供速率限制与泄露密钥保护；提供模型访问控制与护栏，并对每次请求保留审计日志。 成本优化方面：无需改代码即可切换模型；Auto Routing 可将简单提示发给更便宜的模型、困难提示发给更强的模型；支持跨提供商、区域和密钥的负载均衡；最低成本路由；响应与语义缓存（Redis、S3、GCS）；提示压缩以减少 token 消耗。 部署方面：可自托管于自有云或完全气隙环境；提供官方 Helm chart 或 Terraform 模块；提供官方 Docker 镜像（含数据库捆绑与非 root 变体）；可运行在自有 Postgres 和 Redis 上，并通过 Kubernetes 自动扩缩容；支持一键部署到 AWS、GCP 或 Azure。官方称其 Rust AI Gateway 在基准测试中 p99 仅增加 0.66 ms。
使用方式 官方给出的路径是：部署开源网关，随后在每次请求上追踪并限制花费；当需要组织级使用时，再叠加 SSO、审计日志与 SLA。部署可使用官方 Helm chart 或 Terraform 模块，运行在自有 Postgres 与 Redis 上，并借助 Kubernetes 自动扩缩容。
适用场景 适合需要统一管理多家模型提供商、控制 AI 花费、按团队分摊成本、集中治理模型访问，以及有自托管或气隙部署要求的平台团队与企业。
限制与说明 LiteLLM 网关采用 MIT 许可，可免费自托管；企业版在同一开源核心之上增加 SSO、RBAC、审计日志、SCIM 与专属支持。官方称自托管不发送遥测，提示仅发送至所配置的模型提供商。关于具体收费价格、SLA 条款与完整功能清单，资料未提供，需查阅官方文档。
