SuperAPI AI 工具集

running-the-proxy

智能体与模型

查看项目

更新于 10-16 07:18

技能介绍

liter-llm api 是一个可直接替换使用的 OpenAI 兼容网关,提供 22 个 REST 端点,可路由到 143 个提供商,并支持多租户虚拟密钥、速率限制、预算和成本追踪。

用途:统一代理多家模型提供商的调用,让客户端像调用 OpenAI 一样访问不同模型。

主要能力:虚拟密钥限定调用者可用的模型,并携带各自的 RPM/TPM 与预算限制;master_key 负责管理虚拟密钥;端点覆盖对话、嵌入、图像、音频、审核、文件、批处理、响应和模型列表;OpenAPI 3.1 规范位于 /openapi.json。

使用方式:启动命令为 liter-llm api --config liter-llm-proxy.toml,代理会自动在当前目录发现 liter-llm-proxy.toml。配置文件包含 [server] 的 host/port、[general] 的 master_key,[[models]] 将可路由名称映射到 provider/model 及密钥,[[keys]] 定义虚拟密钥的可用模型、rpm、tpm 和 budget_limit。支持 ${ENV_VAR} 插值以隐藏密钥。调用示例:curl http://localhost:4000/v1/chat/completions -H "Authorization: Bearer sk-team-frontend" -d '{"model": "gpt-4o", "messages": [{"role": "user", "content": "Hello"}]}'。也可用 Docker 运行:docker run -p 4000:4000 -e LITER_LLM_MASTER_KEY=sk-key ghcr.io/xberg-io/liter-llm。

适用场景:需要集中管理多家模型密钥、对团队分配模型访问权限并控制速率与成本的场景。

限制:资料未提供支持的提供商完整清单、各端点详细参数、定价信息及性能数据,暂未提供。