SuperAPI AI 工具集

eval-mcp

智能体与模型

查看项目

更新于 10-16 09:51

技能介绍

用途:评估 MCP 服务器工具的质量,衡量 Claude 能否为给定用户意图选对工具,并据此优化工具描述。工具描述会直接进入 Claude 上下文,因此属于提示工程,本技能把工具质量变得可测量、可改进。

主要能力分为三层:静态分析(确定性的 schema 质量检查,不调用 Claude);选择测试(判断 Claude 是否针对每个意图选对工具);描述优化(根据混淆模式迭代改写)。工作流为:连接并获取工具清单 → 静态分析 → 选择测试 → 优化迭代,迭代阶段会应用改写、重新拉取 schema、重新测试并比较准确率。

使用方式:先连接用户 MCP 服务器,支持 HTTP/SSE(URL)或 stdio(启动命令)。用 scripts/fetch-tools.sh <url-or-command> <transport> <workspace>/tools.json 通过 MCP Inspector CLI 调用 tools/list 拉取并保存 schema;用 scripts/analyze-schemas.sh <workspace>/tools.json <workspace>/iteration-N/static-analysis.json 做静态分析;为每个工具生成 3 个应触发意图和 2 个不应触发意图,为可疑的同级工具对生成区分意图,保存到 evals/evals.json;再以 tools.json 中的完整 schema 与意图文本启动子代理,要求其只选一个工具或返回 null,用 scripts/grade-selection.sh 评分并显示准确率、精确率、召回率及最严重混淆。最后分析混淆对并给出描述改写建议,应用后重启服务器、重新拉取、重测并比较迭代结果。

适用场景:检查 MCP 工具 schema 设计是否合理;测试 Claude 是否为用户意图选对工具;排查工具混淆;优化描述以提高选择准确率;在完成 build-mcp-server 脚手架后验证质量。

限制与准备:需要 Node.js >= 18 和 jq;MCP 服务器须能响应 tools/list,可先用 build-mcp-server/scripts/test-server.sh 验证连通性。工具数量 1-15 最优,15-30 警告,30+ 建议改用搜索+执行模式。若存在缺失描述、零注释等严重问题,应先修复再测试。迭代时建议每轮只改一个同级工具对以便归因;准确率超过 90% 或剩余混淆属于人类也难以判断的边界情况时可停止。参考文件按阶段读取:references/quality-checklist.md、references/eval-patterns.md、references/optimization.md。相关技能:build-mcp-server、build-mcp-app。