SuperAPI AI 工具集

create-agent-tests

测试与质量

查看项目

更新于 10-16 00:21

技能介绍

用途:该技能用于编写和运行“智能体测试”。每个 Markdown 用例由编码智能体在目标环境中执行,验证依赖智能体的判断与所收集证据(浏览器、API、数据库、日志、云、遥测),而非固定断言。每次运行产出可审计报告,包含报告路径、最终 PASS/FAIL/BLOCKED/ABORTED 状态及证据产物。

适用场景:需要跨 UI、API、数据库、日志、文件、网络或实时环境状态进行灵活、工具驱动判断时;确定性测试尚早、脆弱、昂贵或覆盖过窄时。尤其适合 UI 变更的视觉/交互/控制台/网络/追踪验证,API 与数据库工作流,跨前后端与存储、任务、外部 mock 的全栈流程,以及在转为标准确定性测试前的探索性回归检查。它不是确定性测试的替代品,稳定路径应转为单元、契约、集成或 YAML E2E 测试。

项目布局:用例位于目标仓库 tests/agent/ 下,包括 agent-test-suites.json 套件清单、<feature>/<case>.md 用例文件、run-agent-verification.ts 运行器,报告生成到 agent-test-reports/,不要手工编辑。仓库自行负责清单、用例、fixture、认证/会话引导、CI 接线、引擎密钥与 MCP 配置、环境变更策略与清理归属。

使用方式:先检查 tests/agent/agent-test-template.md,若存在则视为本地权威约定。无本地框架且智能体测试是最廉价充分证明时,可从技能目录复制模板、示例清单与运行器,再执行 cp tests/agent/agent-test-suites.example.json tests/agent/agent-test-suites.json 生成真实清单。编写用例时说明需求与风险、填写真实项目上下文、区分环境预检与产品验证、列出具体检查项、为测试自身创建的状态写无条件断言、指明所需证据、保持用例可移植、不存原始密钥。

运行:在目标仓库添加脚本 { "scripts": { "agent:verify": "tsx tests/agent/run-agent-verification.ts" } },然后运行 pnpm agent:verify --target local --suite smoke --project-name "<project name>" 或 pnpm agent:verify --target local --case tests/agent/<feature>/<case>.md。references/runner.md 记录运行器默认值、标志、环境变量与报告状态契约。

报告状态:每个用例报告须以一行 Status: PASS/FAIL/BLOCKED/ABORTED 结尾。PASS/FAIL 表示环境预检完成且产品验证已运行;BLOCKED 表示环境或设置无法执行用例;ABORTED 仅表示编排中断,发布门禁忽略并重跑。必需用例未返回 PASS 则运行器失败。驱动浏览器时须收集可审计证据,如 HTML 报告、截图集、视频、追踪或项目标准等价物,纯文本声明不足。

限制:无实时环境、访问权限或 fixture 时,应记录阻塞而非编写无法运行的用例;确定性测试更便宜耐用时应使用标准格式。