SuperAPI AI 工具集

quality-test

测试与质量

查看项目

更新于 10-15 20:11

技能介绍

用途:在实现完成后进行用户验收测试,通过交互式验证确认实际行为是否与预期一致,并闭环处理测试中发现的缺口。

主要能力:

  1. 场景设计:从 verification.json、validation.json、index.json、plan.json 与各摘要文件加载验证上下文;加载质量工件(review 发现转为额外测试,debug 根因转为回归测试);通过 maestro load 加载测试工具生成附加场景,写入 test-plan.json。
  2. 交互式呈现:一次只呈现一条测试(TEST n/total,名称与预期行为),等待用户回复;pass/yes/ok/next/空视为通过,skip/can't test/n/a 视为跳过,其他内容记为问题。严重度自动推断(崩溃/报错为 blocker,不工作为 major,慢/不稳定为 minor,颜色/间距/错别字为 cosmetic,默认 major),不会向用户询问。
  3. 缺口诊断:按组件/模块/功能聚类,构建 diagnosis.csv,用 spawn_agents_on_csv 并行诊断,产出根因、修复方向与受影响文件;诊断代理只读,不得修改文件。
  4. 修复循环:--auto-fix 时最多执行 2 轮(maestro-plan "{phase} --gaps"、maestro-execute "{phase}")。
  5. 报告:进行 4 维 UAT 置信度评分,并生成 uat.md、test-plan.json、test-results.json、coverage-report.json 等产物。

用法:以 <phase>(阶段号或临时任务 ID)调用,可用 --smoke 先跑冷启动冒烟测试、--auto-fix 自动触发缺口修复、--session ID 恢复指定会话、-y 隐含 --auto-fix(UAT 仍保持交互)。所有文件写入仅限 .workflow/scratch/{YYYYMMDD}-test-P{N}-{slug}/、.workflow/state.json、.workflow/issues.jsonl,绝不修改源代码或这些路径之外的执行产物。问题写入前先汇总,经用户确认后再写入 issues.jsonl。

适用场景:需要人工确认验收结果的实现阶段,或希望通过交互式 UAT 暴露并闭环功能缺口的流程。

限制:无法确定或资料未提供的部分——安装方式、运行环境、依赖与平台支持暂未提供;测试工具、代理并发规模等细节依赖外部环境;修复循环上限 2 轮;目标阶段必须已有 verification.json,否则建议先执行 maestro-execute;冒烟测试失败建议改用 quality-debug;覆盖率不足建议 quality-auto-test。