用途:为 MCP 服务器工具生成数据驱动的评测数据集。数据集是 JSON 文件,包含测试用例,由评测运行器加载并执行。
何时使用:同一工具有大量相似用例(10 个以上)、测试数据比测试逻辑变化更频繁、非工程人员需要添加或审阅用例、需要用基线追踪准确率时使用评测数据集;需要复杂 setup/teardown、独特校验要求或测试多步流程时改用内联 Playwright 测试。
主要能力:数据集支持 name、description、metadata 和 cases;每个用例含 id、toolName、args、tags、expect。expect 支持 containsText、matchesPattern、response、isError、responseSize、schema、snapshot(含内置 sanitizer:uuid、timestamp、iso-date、objectId、jwt)、passesJudge(内置 rubric:correctness、completeness、groundedness、instruction-following、conciseness;judge provider:anthropic、vertex-anthropic、anthropic-agent-sdk、openai、google),多个期望需全部通过。用例可设 iterations 与 accuracyThreshold 做多轮准确率统计。
使用方式:用 loadEvalDataset 加载文件,runEvalDataset 接收两个参数——选项对象 { dataset, concurrency?, filterTags?, ... } 与上下文对象 { mcp, testInfo };也可用 loadEvalDatasetFromObject 内联加载。支持 schema 注册(如 zod)、并发、标签过滤、saveBaseline/loadBaseline 基线对比。运行命令:npx playwright test tests/my-evals.spec.ts。
限制:资料未提供安装命令、收费与平台信息;需自行确保 id 唯一、toolName 与服务器工具一致、args 匹配输入 schema、JSON 合法。