SuperAPI AI 工具集

agent-tool-routing

智能体与模型

查看项目

更新于 10-15 19:53

技能介绍

用途:当智能体工具数量超过约15个、存在多个 MCP 服务器且工具重叠、工具随运行时(按租户或权限)增减,或需要回退链时,用路由层替代把全部工具塞给 LLM,避免选错工具并浪费输入 token。

架构:请求 → 能力发现 → 路由器 → Top-K 工具 → LLM;注册表索引负责发现,语义匹配与策略负责筛选。

工具注册表:ToolEntry 数据类记录 name、description(面向 LLM)、schema(JSON Schema)、embedding(语义匹配用)、tags(如 billing、read、write、hitl)、cost_usd_per_call、p95_latency_ms、requires_scopes、fallback(失败后尝试的工具名)。来源包括 MCP 服务器发现、本地 tools.yaml 与插件。

路由策略:语义 top-K、标签过滤、作用域过滤、成本感知、粘性(复用上一轮工具),可组合为:作用域过滤 → 标签过滤 → 语义 top-K → 成本重排。

快速用法:route_tools(query, caller_scopes, k=8) 先按调用方作用域过滤候选,再对 query 做嵌入并按余弦相似度排序,返回前 k 个,仅将 top-K 暴露给 LLM。回退:call_with_fallback 按 fallback 链循环调用,遇 ToolTimeout 或 ToolUnavailable 时切换下一个,全部失败抛出 AllFallbacksExhausted。

MCP 发现:用 mcp.client 的 Client 连接 MCP 端点,list_tools 后逐个注册 ToolEntry。

工具描述规则:每条描述应说明动作、何时触发、返回结构、副作用及成本/延迟提示(如 fast、slow、expensive),避免模糊描述。

限制与说明:资料未提供具体安装命令、依赖版本、性能基准数据与收费标准。