SuperAPI AI 工具集

improving-mcp-tools

智能体与模型

查看项目

更新于 10-16 01:14

技能介绍

用途:以可度量的方式持续改进 MCP 服务器。流程为:先评分当前智能体体验,再修复最大问题,重评分,只有数据支持才发布改动。每次只做一次迭代,并记录日志,便于后续迭代或其他智能体续接而不重复工作。

主要能力:目标函数基于评测框架 services/mcp/evals/,benchmark/tasks.yaml 是固定任务集,含 expected_tools 与 success_criteria,分数仅在同一基准版本内可比。探针模式(确定性、无 LLM)用:LIVE_MCP_URL=... LIVE_MCP_TOKEN=... pnpm exec tsx evals/runner/probe.ts --out score.json(在 services/mcp/ 下运行),报告工具存在性缺失、探针失败与延迟 p50/p95,非零退出即回归。智能体模式(LLM 回放与评判)评估任务成功率与工具选择准确率,用于描述或可发现性改动。

使用方式:针对播种的本地或 devbox 栈运行框架,切勿针对客户项目。本地配方:NODE_ENV=development PORT=9876 POSTHOG_API_BASE_URL=http://localhost:8000 pnpm dev:hono,个人 API key 作为 LIVE_MCP_TOKEN。每轮先测量基线,再用 MCP 分析工具与信号侦察手册拉取生产证据;按到达×严重度排序选一个问题(日志显示两次失败的问题跳过),仅改允许清单内文件,典型如锐化工具描述、收紧输入 schema、修复注释、更新技能;重跑受影响基准切片加无回归样本,目标指标提升且无其他退化才保留;每轮一个 PR,正文附前后分数,≤400 改动行,加 stamphog 标签,自主级别由活动配置决定,默认草稿 PR 供人工审查。

限制与护栏:允许清单仅限 products//mcp/tools.yaml、products//skills/、services/mcp/evals/、pnpm generate-tools/scaffold-yaml 的代码生成输出及文档;其他文件(处理程序代码、包清单、工作流、迁移、鉴权路径)须停止并交人工。对数据只读,测量时不得创建、修改或删除客户可见对象。无基线分、后分与确切命令不得开 PR。不得在同一 PR 改 benchmark/tasks.yaml。遵守迭代/令牌/PR 预算(默认 3 个未合并 PR 后停止),同一问题两次失败永久搁置。配置、特性开关或操作者叫停时立即停止并记录状态。预期失败模式包括描述改动争夺流量、探针延迟随栈热度波动、工具存在性缺失可能源于特性开关而非目录缺失。