SuperAPI AI 工具集

mcp-testing

智能体与模型

查看项目

更新于 10-16 07:16

技能介绍

用途:该技能加载 MCP 工具的 eval 测试模式,使用 @umbraco-cms/mcp-server-sdk/evals 验证工具在 LLM 智能体驱动时是否正确运行。集成测试应改用 /build-tools-tests。适用于为 MCP 工具创建评估/验收测试、验证 LLM 工作流中的工具行为、调试评估测试失败。

主要能力:通过 configureEvals 配置 MCP 服务器路径、名称、环境变量、默认模型(ClaudeModels.Haiku)、默认最大轮数与预算、超时;通过 runScenarioTest 定义场景,含 prompt、可用 tools、requiredTools、successPattern 等选项;支持 setupConsoleMock、getDefaultTimeoutMs;测试放在 tests/evals/ 并配专用 Jest 配置,setup 文件经 setupFilesAfterEnv 自动加载,测试文件无需再导入。

使用方式:先 npm run build(eval 基于 dist/ 运行),再 npm run test:evals;可加 --testPathPatterns="entity" 跑指定文件;E2E_VERBOSITY=verbose npm run test:evals 查看完整 LLM 对话。建议使用带时间戳的唯一标识符、编号分步提示、以明确成功短语结尾、动态搜索 ID、开发时开启 verbose、保持较低 maxBudgetUsd。

限制:资料未提供更多平台或版本兼容信息;超时、工具选择错误、参数缺失、工具名不匹配、预算超支等常见问题需按表中方案调整。