用途:依据 {spec}/test.md 中的验收测试计划,对已完成实现执行黑盒验收测试,捕获证据并输出需求级通过/失败结果。
主要能力:解析 test.md 中的用例(ID、需求 ID、Steps、Expected、Verify 方式、Command);按 pipeline.yml 的启动配方与 roles.e2e_runner 选择评测 AI 角色与执行载体;为用例创建 {spec}/evidence/{round}/ 保存截图与日志;运行后独立机器核验证据。
核心原则:评测者声称“已测试并通过”不被信任;每个 PASS 用例必须指向磁盘上的真实证据(截图、命令日志等)。核验时若 PASS 用例引用的证据文件缺失或为空,则强制改为 FAIL 并记 Critical 发现;并重算 Evidence Manifest 的 sha256/大小,填写 Gate 行。证据命名如 T-A01-login.png、T-A02-latency.log,结果文件用相对指针引用而不嵌入内容。
使用方式:命令示例 /spec-evaluate --spec .specs/user-auth/;可选 --round {n}、--pipeline {path}、--backend {self|claude|codex}、--host-runtime {claude|codex}、--output {path}。当评测角色与 host_runtime 不同时,通过 agent-delegate 委派,使用 --mode delegate --sandbox workspace-write(不可用只读的 review 模式),并轮询报告。
限制:test.md 缺失则报错停止;pipeline.yml 缺失时以 backend=self 继续且无应用启动,playwright 用例标记为 blocked(跳过+警告,区别于 FAIL);app 启动失败或 ready_pattern 不匹配也标记 blocked,不伪造通过。--backend 解析为 claude/codex 时必须提供有效的 --host-runtime,否则流水线报配置阻塞、独立运行时询问用户,不猜测。证据目录不可写则报错停止。结果格式异常时重跑一次,仍异常则报告 blocked。