SuperAPI AI 工具集

llm-gateway

Manifest LLM Gateway 是一个面向 AI 智能体与应用的开源 LLM 网关。它可将 API 密钥、订阅和本地模型统一接入一个兼容 OpenAI 的端点,让每次查询自动路由到合适的模型,避免被单一供应商锁定。主要能力包括自定义路由、成功与错误消息的完整请求体日志、费用追踪与限额通知、查询失败时自动回退到其他模型并自愈错误请求。支持通过 Docker 镜像自托管,也提供 Railway、Render、AWS、GCP、Fly.io 等多种一键部署方式。可连接 300 多个模型,内置 35 个提供商连接,并支持任意兼容 OpenAI/Anthropic 的自定义端点。

访问官网

工具介绍

Manifest LLM Gateway 是一个开源的大语言模型网关,定位为“不会中断的 AI 智能体”基础设施,主要面向 AI 智能体与应用程序。

用途方面,它解决的是多模型、多供应商接入时的统一管理与路由问题。用户可以将自己的 API 密钥、订阅以及本地模型连接到同一个兼容 OpenAI 的端点,每次查询由网关决定发送到正确的模型,从而避免被单一供应商锁定。

主要能力包括:

  • 自定义路由:支持 API 密钥、订阅、本地模型和自定义提供商。
  • 完整请求体日志:对成功和错误消息均记录完整请求体。
  • 费用追踪:跟踪每一笔花费,并可设置通知和限额。
  • 故障回退与自愈:当查询失败时回退到不同模型,并对错误请求进行自愈。
  • 模型覆盖:通过 35 个内置提供商连接以及任意兼容 OpenAI/Anthropic 的自定义端点,可连接 300 多个模型。用户可自带 API 密钥、复用 18 种订阅流程,或本地运行模型。所有请求都通过同一个兼容 OpenAI 的端点路由,发送 "model": "auto" 时由 Manifest 自动选择模型。
  • 提供商目录在连接凭据时动态发现。

使用方式方面,Manifest 以 Docker 镜像形式发布。官方给出的启动方式为一条命令(具体命令内容未在资料中提供),随后打开 http://localhost:2099 并注册,第一个创建的账户将成为管理员。完整的自托管指南见 docker/DOCKER_README.md。此外还提供一键部署路径,包括 Railway、Render、DigitalOcean、AWS、GCP、Fly.io、Coolify、Easypanel、Heroku、Koyeb 和 Apple Containers。所有部署路径均使用持久化的请求记录存储:Railway、AWS、GCP 和 Fly.io 原生提供该存储;Render、Coolify、Easypanel、Docker 和 Apple Containers 挂载持久化存储;DigitalOcean、Heroku 和 Koyeb 在设置期间收集外部兼容 S3 的配置。基于卷的模板为单实例,横向扩展前需使用兼容 S3 的存储。旧的基于 npm 的自托管路径已不再支持,应使用 Docker 镜像或上述部署指南。另有 n8n 社区节点 n8n-nodes-manifest 发布在 npm 上。

适用场景包括:需要统一接入多个模型供应商的 AI 智能体或应用;希望避免供应商锁定、灵活切换或回退模型的团队;需要追踪模型调用成本并设置限额的组织;以及希望自托管网关、将 API 密钥、订阅和本地模型统一管理的开发者。

限制方面,资料未提供具体的收费、价格、性能指标或效果数据。基于卷的部署模板为单实例,横向扩展前需要配置兼容 S3 的存储。旧的 npm 自托管方式已不再支持。