SuperAPI AI 工具集

exploring-mcp-tool-quality

数据与分析

查看项目

更新于 10-16 03:45

技能介绍

用途:调查 PostHog MCP 工具调用质量,回答错误率、延迟、覆盖范围以及哪些工具失败或缓慢等问题。任何接入 PostHog MCP 分析 SDK 的 MCP 服务器,在智能体调用工具时都会在共享事件表写入 $mcp_tool_call 事件,所有字段以 $mcp_* 属性存在,没有专用 ClickHouse 表。

主要能力:先查受治理指标,调用 posthog:metric-list 查找 mcp_tool_call_fail_pct,若已批准且未漂移,用 posthog:data-catalog-metric-run 运行并作为权威结论;无匹配则说明目录无匹配并标注派生率为非权威。单工具分析优先用类型化工具:posthog:query-mcp-tool-stats(调用、错误、p50/p95、用户、会话、意图)、posthog:query-mcp-tool-failures(按 harness 的顶部错误消息)、posthog:query-mcp-tool-daily-stats(逐日趋势),均接收 toolName 与 dateRange。跨工具问题用 posthog:execute-sql 写 HogQL,再对最差工具下钻。

关键规则:始终使用有效工具名,即 coalesce(nullIf(toString(properties.$mcp_exec_tool_call_name), ''), toString(properties.$mcp_tool_name));用 toBool(...) 读 $mcp_is_error,用 toFloat(...) 转换 $mcp_duration_ms;必须设置时间范围。

典型工作流:按错误率排名工具时加 HAVING total_calls >= 20 防止小样本噪声,同时报告错误率与调用量;工具质量矩阵每行一个工具,含错误率、延迟分位与覆盖;失败原因按 $mcp_error_type 与 HTTP $mcp_error_status 分组,可用 posthog:query-mcp-tool-failure-occurrences 查看单次错误调用;最慢工具用 quantile(0.95)(toFloat(properties.$mcp_duration_ms)) 按 p95 排序。

限制:$mcp_error_type 仅在新版 SDK/服务器路径填充,部分错误调用落入 unknown;$mcp_error_message 在消息捕获上线前为空;harness 分桶由服务端 mcp_harness.py 决定,手写 SQL 若与界面不一致说明分桶漂移,应优先用类型化工具。完整属性 schema 与查询配方见 models-mcp.md。