Evaluate MCP Tool Adoption 是一个用于诊断 MCP 工具采用情况的技能。它把面向智能体的工具视为一个路由面,而不是调用次数的目标:在修改服务器指令、工具元数据或操作契约之前,先区分可用性、发现、选择和执行这四个环节的问题。该技能只应加载给评估者使用,绝不能在受测智能体的配置中启用。
用途与定位 该技能负责采用诊断及其证据边界。若涉及 Harbor 任务或验证器改动,应使用 harbor-benchmarks;若涉及数学验证器,应使用 verifier-evaluations。
核心方法
-
冻结问题:为受控比较写一个可证伪的问题,例如“当普通提示不触发时,服务器级引导是否会使智能体检查匹配的操作?”在可比组之间保持模型、模型版本、推理强度、客户端版本、Jacobian 修订、镜像摘要、任务摘要、MCP 配置、出口/代理状态、尝试次数和预算固定不变。记录相关提示词和智能体可见的 MCP 表面。在受控比较中,自然使用组不得包含操作 ID、答案或路由指令。不得把工具调用本身计为成功;最终数学正确性、声明的见证有效性和真实陈述仍是任务结果。
-
建立四阶段控制矩阵:先运行确定性检查,再使用最小模型组来区分疑似阶段。
- 可用性:启动配置的 MCP 服务器并检查初始化/工具列表。通过意味着客户端收到预期的连接、工具、描述和模式。
- 发现:用自然用户短语和自然类别搜索,仅检查返回的候选。通过意味着无需事先的分类法或精确 ID 知识即可触达相关操作。
- 执行:用一个冻结的有效载荷直接调用已知匹配操作。通过意味着输入模式、分发和类型化结果正常工作。
- 选择:让全新智能体在无提示、仅服务器引导、以及一个明确标注的任务级路由提示下执行同一数学任务。通过意味着路由/显著性的效果可与连接和执行分离。
- 执行控制须与发现分离:直接操作 ID 可证明分发,但不能证明智能体会找到该操作;任务级指令可证明客户端能调用工具,但不能证明服务器初始化指令足够显著以改变普通选择。
模型比较 需要模型比较时,用于受控组、事件捕获和评分。仅在用户授权的成本边界内运行回答冻结问题所需的最小组。确定性诊断不需要模型实验。
保守归因 采用支持度最小的结论:会话缺失、工具缺失或模式变化属于可用性或呈现失败;直接调用成功而自然搜索错过操作属于发现/分类问题;直接调用控制成功而未提示的智能体回避该工具,是选择或显著性观察,不能证明初始化引导不在模型上下文中;任务级提示改变行为证明提示可以路由行为,但不表明该调用提高了正确性或应成为强制。无效的类型化输入或输出属于操作契约或传输边界,而非智能体采用问题。
证据与限制 在声称稳定效果前,至少使用一个重复或独立变化的案例。只有附带精确提示词、环境、事件证据,并区分已验证行为与剩余假设时,才开启问题报告。保持结果评估与旨在解释工具选择的遥测分离。