用途:评估智能体 trace 中的工具选择是否合理,重点判断在存在 Databricks MCP 工具时是否误用 Bash 等 shell 变通方案。
主要能力与评分要点:
- MCP 优先于 Bash:若某操作存在对应 Databricks MCP 工具,智能体必须使用它。例如 SQL 查询用 mcp__databricks__execute_sql(而非 Bash + databricks sql);文件上传用 mcp__databricks__upload_to_volume(而非 Bash + databricks fs cp);作业管理用 mcp__databricks__create_job、mcp__databricks__run_job(而非 curl 调 REST API);集群操作用 mcp__databricks__create_cluster(而非 Bash 调 CLI);工作区文件用 mcp__databricks__workspace_get_object(而非 Bash + databricks workspace export)。
- 任务与工具匹配:SQL 执行用 execute_sql(而非 notebook 执行);读文档用 Read 工具(而非 curl 抓取);文件创建本地用 Write 工具、远程用 volume 上传;schema 检查用 execute_sql 配合 DESCRIBE 或 SHOW(而非用 list_tables 查列详情)。
- 禁止 shell 变通:以下模式视为选择错误——存在 MCP 工具时用 Bash('databricks ...');MCP 已覆盖时用 Bash('curl ...') 调 Databricks REST API;对有专用工具的操作使用 Bash('python -c ...');本可一次 MCP 调用却拆成多次 Bash。
- 合理调用次数:简单查询预期 1-3 次工具调用;多步任务次数应与步骤成比例;过多重试说明智能体混乱而非高效;重复读取同一文件属浪费。
- 错误恢复:工具失败时应尝试替代方案,不应盲目重试同一失败调用,无法恢复的错误应报告用户。
使用方式:在 trace 包含本可用 MCP 的 Bash 工具调用时加载本评分标准,按上述五条逐项核对。完整工具目录参见 MCP tool guide。
限制:资料未提供具体实现代码、安装命令、平台支持范围或收费信息。