用途:按 YAML 测试计划执行端到端测试,先做安装与健康检查,再顺序运行各测试用例,遇到首个失败立即停止并生成调试信息。
主要能力:解析并校验测试计划(默认 docs/testing/test-plan.yaml,可用 --plan 指定);执行 setup 中的 prerequisites、env、build、services,并对服务 URL 轮询健康检查(接受 200/301/302);支持旧版扁平 setup 格式;顺序执行测试步骤,涵盖 shell 命令、curl 请求与 agent-browser 浏览器操作;将截图等证据保存到 docs/testing/evidence/;失败时汇总预期与实际、相关 PR 变更、证据与排查建议,并输出可复制到新会话的调试提示;结束时清理后台服务进程。
使用方式:需 agent-browser CLI 在 PATH 中(浏览器测试)。参数:--plan <path> 指定计划路径;--skip-setup 跳过安装与健康检查,用于修复后重跑。执行前会校验 YAML 可解析,测试前设有门禁(setup 就绪、证据目录可创建),每个测试需有明确 PASS/FAIL,失败后其余测试标记为 SKIP。
适用场景:需要按固定计划回归验证 CLI、数据库、文件、进程、HTTP 接口与浏览器界面的项目。
限制:资料未提供具体安装命令、收费与平台信息;浏览器测试依赖 agent-browser;失败即停止,不继续后续用例;密钥须用环境变量,不得硬编码。