SuperAPI AI 工具集

repo-test-audit

测试与质量

查看项目

更新于 10-16 09:29

技能介绍

用途:当用户询问测试位于何处、由哪个测试目录承载、测试完整度如何,或哪些测试未被 CI 收集时使用该技能。它提供对测试存放位置、声明的运行器是否会收集这些测试、以及断言是否真正校验行为的只读盘点。

主要能力:通过脚本输出测试清单,包含 runners(来自 justfile 的配方名)、files[](每项含 path、location 为 skill-tests、repo-tests 或 unknown、collected_by 为配方名或空字符串、behavior 为 Missing、Shallow 或 needs-review)。最终报告为三列:location、collection、behavior,每个单元格引用路径或配方命令。

使用方式:解析仓库根目录,未指定时默认当前工作区。执行命令 python "<skill-dir>/scripts/inventory_tests.py" "<repo-root>";路径以 <skill-dir> 开头表示技能加载时公布的技能目录,需替换为字面路径,不要用 $SKILL_DIR 或相对 scripts/... 路径。Windows 下 python 不在 PATH 时可用 py -3。读取 stdout 单个 JSON 对象。阅读 <skill-dir>/references/report-contract.md 并用用户语言写三列报告。needs-review 行需阅读测试后重分类为 Covered 或 Shallow,不得保留 needs-review。

限制:这是只读审计,默认不编辑文件;仅当明确要求修改测试时才可编辑或新增测试文件,且不得改动产品代码。不执行目标仓库的配方,不使用网络,脚本不写文件。runner_status 为 runner-not-declared 时只列位置,不得把 pytest 或 node --test 的默认 glob 当作该仓库的收集事实;可另作说明并注明来源。collected_by 仅表示声明的配方会收集该文件,不代表测试通过;python-check 是编译而非通过测试;evals-check 表示存在 schema 配方,不代表模型执行了 evals/evals.json。模型路由缺乏证据,不得声称。不得用覆盖率百分比当作完整度,不得把外部 tests/ 目录视为唯一合法布局。适用场景包括测试盘点、CI 收集缺口排查。