SuperAPI AI 工具集

omniroute

智能体与模型

查看项目

更新于 10-22 16:16

技能介绍

OmniRoute 是一个本地或远程部署的 AI 网关,对外提供兼容 OpenAI 的 REST 接口,用统一密钥即可访问 207+ 提供商,面向需要在多个模型/服务之间做统一调用与容错的开发者。

用途 作为统一入口,把聊天、代码生成、图像生成、TTS、STT、嵌入、网络搜索、网页抓取等能力收敛到同一套 OpenAI 风格端点,并自带 MCP 服务器与 A2A 智能体协议支持。

主要能力

  • 统一 REST:所有请求走 ${OMNIROUTE_URL}/v1/...,用 Authorization: Bearer ${OMNIROUTE_KEY} 鉴权。
  • 模型发现:/v1/models 默认列聊天/LLM;/v1/models/image、/v1/models/tts、/v1/models/embedding、/v1/models/web、/v1/models/stt 分别列对应能力。返回中的 data[].id 用作请求的 model 字段;组合(combo)以 owned_by:"combo" 标识。
  • 自动回退组合:提供 14 种策略,在提供商限流或不可用时自动切换。
  • RTK 令牌节省:tool_result 经 47 个专用过滤器(如 git-diff、test-jest、terraform-plan、docker-logs)压缩,资料称可减少 20–40% 令牌。
  • Caveman 模式:可选注入简短系统提示(LITE/FULL/ULTRA),资料称可减少 15–25% 补全量。
  • 内置 MCP(37 工具)与 A2A 协议服务器;记忆使用 FTS5 + Qdrant 保存智能体上下文;防护含 PII 脱敏、提示注入检测、视觉策略。
  • CLI(omniroute 二进制):提供管理/lifecycle、提供商与密钥、云端智能体、评估与基准等技能文档。

使用方式

  1. 设置环境变量:export OMNIROUTE_URL="http://localhost:20128"(或 VPS/隧道地址);export OMNIROUTE_KEY="sk-..."(Dashboard → API Keys)。
  2. 健康检查:curl $OMNIROUTE_URL/api/health → {"ok":true}。
  3. 发现模型:curl $OMNIROUTE_URL/v1/models(或 /v1/models/<kind>),用 data[].id 作为 model 发起请求。
  4. 按能力查阅技能文档(SKILL.md),包括:聊天/代码、图像、TTS、STT、嵌入、网络搜索、网页抓取、MCP、A2A、路由与组合、令牌压缩、监控与健康,以及 CLI 相关文档。

常见错误 401:设置或刷新 OMNIROUTE_KEY;400 Invalid model format:确认模型存在于 /v1/models/<kind>;503 Provider circuit open:上游不可用,按 Retry-After 秒数重试;429:限流,遵守 Retry-After。

适用场景 需要在多个模型提供商之间统一调用、自动回退、压缩上下文令牌、接入 MCP/A2A 的智能体与开发工作流。

限制 资料未说明部署资源要求、各提供商具体支持范围、收费与价格、性能上限与合规细节,暂未提供。