SuperAPI AI 工具集

setting-up-regression-runs

测试与质量

查看项目

更新于 10-31 06:36

技能介绍

该技能用于为 Bitwarden 某个版本在 Testmo 中搭建手动回归测试运行。每个版本的回归套件是一组固定的 Testmo 运行,对应 specs/ 目录下每个规格各一个,全部关联到该版本的里程碑。此技能负责决定某版本需要哪些规格,实际创建由 bitwarden-testmo-tools:creating-test-runs 技能完成;若该技能不可用,应停止并请用户安装 bitwarden-testmo-tools。

发布配置 release-profiles.json 列出每个配置包含的全部规格。partial 包含 Web(Password Manager、Admin Console、Admin Portal / SM / Providers)、Old Client / New Server、Mobile(iOS、Android)和 Directory Connector(BWDC)。full 包含相同的 Web、Old Client / New Server 和 Mobile 运行,另加 CLI、3 个 Desktop 和 4 个 Extension 配置变体,不含 BWDC。full 并非 partial 的超集,应严格按文件中列出的清单使用。

使用方式 先向用户收集输入:配置(partial 或 full)、里程碑的准确名称(例如 2026.8.0 Manual Regression),以及本版本要跳过的规格;缺少哪项就询问。然后确认里程碑存在——用户需在 Testmo 界面创建,API 无法创建。版本使用 YYYY.M.0 Release 父里程碑加 … Manual Regression 和 … Automated Regression 子里程碑的结构,手动回归运行关联到 … Manual Regression 子里程碑。

随后根据 release-profiles.json 读取配置并剔除跳过的规格。若用户要求跳过的名称不在配置中,视为拼写错误,应停止并询问。将每个剩余名称转换为 ${CLAUDE_PLUGIN_ROOT}/skills/setting-up-regression-runs/specs/<name>.json,写成字面绝对路径;切勿把 ${CLAUDE_PLUGIN_ROOT} 本身传给创建测试运行的技能,因为在那里它指向 bitwarden-testmo-tools 根目录而非本插件。

最后调用 Skill(bitwarden-testmo-tools:creating-test-runs) 并遵循其流程,把每个规格路径作为单独的 --spec 传入,里程碑通过 --milestone-name 传入。该技能负责试运行、用户审阅和 --create;绝不可在同一轮中同时执行试运行与 --create。创建完成后,每个 Mobile、Desktop 和 Extension 运行都需要在 Testmo 界面手动补充配置(full 涵盖三者,partial 仅 Mobile),应依据 references/regression-configurations.md 和各规格的 _comment 告知用户哪些运行仍需处理。若要在已填充的里程碑中补建某个缺失的运行,只传该规格即可,脚本的逐运行重复检查不会影响已有运行。

适用场景与限制 适用于为 Bitwarden 版本搭建手动回归运行、补建缺失运行等场景。规格与配置随插件发布,对已安装副本的修改会被 /plugin update 覆盖;如需长期跳过某规格或新增运行,应在 bitwarden/ai-plugins 的 PR 中修改 specs/ 和 release-profiles.json。用例如 “创建 2026.8.0 回归运行”“创建 partial 发布”等。用例数量会随仓库变化而漂移,应将每次试运行与上一周期对比,大幅波动通常意味着文件夹或标签被重命名。