用途:在收到 WSO2 Labs Agentic Engineer 派发的验证任务(提示含 validation task,issue 带 aep + validation 标签)时加载,用于对照验收标准验证已部署系统。交付物是一个 PR,内含提交的端到端测试与验证报告,全部位于 tests/ 下;某条标准失败属于报告内容,不算任务失败,仍照常开 PR。
主要能力与流程:读取 issue(gh issue view <url> --comments),确认包含验收标准、测试布局、报告要求等章节,缺失则评论说明并失败退出。分支名 aep/m<milestone#>-validation 是平台回连本次运行的契约,需用 gh issue view 取 milestone 后创建。读取只读的验收标准文件(默认 specs/validation/validation-criteria.json),按 method 分区:e2e 且无已提交 spec 则新写,已有则作为回归集只运行,manual 渲染为人工清单,scenario 本次不自动化。部署端点来自平台写入的 /tmp/validation-context.json,不来自 issue,也不得自行探测或推断;需先探测可达性,不可达则评论并失败退出。测试凭据按需通过 POST 平台 test-credentials 接口获取,仅在会话内导出为 AEP_E2E_USERNAME / AEP_E2E_PASSWORD,绝不提交;mock 为 true 时需在 PR 与评论中说明。
使用方式:在仓库根 tests/e2e/ 搭建 Playwright 测试框架(package.json 中 @playwright/test 固定为 $AEP_PLAYWRIGHT_VERSION,targets.json 由端点生成,报告脚本从 $AEP_SKILLS_DIR/aep-validation/scripts/generate-report.mjs 复制)。先写测试计划 tests/validation/test-plan.md 并提交,再按 AC-ID 命名 spec(tests/e2e/specs/<AC-ID>.spec.ts,标题 test('<AC-ID>: ...'))。运行 cd tests/e2e && npx playwright test,失败时按 references/healing.md 有界修复并记录 heal-log.json。报告必须用脚本生成,产出 tests/validation/report.md 与 report.json,report.json 必须随测试提交,否则整个运行以 validation-unreported 失败。最后用 gh pr create 开 PR 并评论汇总。
限制:不得修改应用源码、组件 App Path 或根 package.json;不得写入或修改 specs/ 下任何内容;不得删除或跳过已提交 spec,不得留 .only/.skip/.fixme;不得手写报告;不得提交会话状态、日志、测试结果或凭据;遵守 aep 技能的 deny-list(不推默认分支、不 force-push、只开一个 PR、不合并、不改仓库设置)。