SuperAPI AI 工具集

publish-evidence

测试与质量

查看项目

更新于 10-15 21:10

技能介绍

用途:在 @openwork/testkit 运行完成后,发布测试证据、更新 PR 验证、审计红色证据并声明 PR 结论。结论由编排器根据已完成证据推导,发布只是让结论可被检查,绝不重跑测试。

结论判定:Passed 表示每条声明在完成的测试运行中都有可观察断言;Failed 表示某断言否证了至少一个预期结果;Incomplete 表示需求、工具或证据缺失,跳过一律记为 Incomplete。文字说明、截图和录屏不决定结论。

可审计性:需展示测试名称与结论、每条声明的断言证据、相关测试产物、来源测试运行和复现命令。发布一条紧凑的粘性评论,链接到为每条声明测试分节的报告;未配置 review app 时把这些分节保留在评论中。若某声明没有可检查证据,则报告 PR 为 Incomplete。需写入 <!-- test-evidence --> 标记。

发布 PR head:任何 rebase 或 cherry-pick 后都要在最终 PR head 上运行检查;测试运行绑定 commit SHA,改写历史后必须重跑并重新发布。多测试运行后一起发布完整选择:

pnpm evals:e2e --publish --pr <n> --all pnpm evals:e2e --publish --pr <n> --test-run <dir|name> --test-run <dir|name>

--all 选择匹配当前 PR head 的已存运行。可用 --docshot <image.png.review.json> 附带 DocShot 回执,它也必须匹配该 commit。名称和标题提供默认报告,--title 与可重复的 --gap 为可选上下文。发布读取已记录证据,不运行测试、不截图、不判定待定视觉声明;如需视觉判定,显式使用 pnpm --dir evals evidence:judge -- --test-run <dir|name>。待定判定保持可见并使证据为 Incomplete。

配置:设置 OPENWORK_REVIEW_URL 和 BLOB_READ_WRITE_TOKEN 可发布到私有 review app,配置见 apps/review/README.md。上传错误须报告为发布失败,与测试结论无关;报告发布不是必需的 CI 检查或发布依赖。省略 --test-run 会选择最近一次运行,对多个测试作声明时优先显式选择或 --all。

限制与注意:发布成功退出仅表示已发布,不代表测试通过。不要用 --force 隐藏 SHA 不匹配,应重跑;--force 仅用于有意发布历史或红色证据,输出会加注并需明确说明例外。截图通过 gh pr comment --attach 附加(gh ≥ 2.99),否则发布者仍会发布结论并注明无截图。堆叠 PR 合并前用 gh pr view <n> --json baseRefName,headRefName,headRefOid 检查,并用 git log --oneline <branch> ^origin/dev 查找游离提交。