SuperAPI AI 工具集

Test Quality Audit

测试与质量

查看项目

更新于 10-16 08:05

技能介绍

用途:在代码评审或提交合并前,对测试文件做质量审计,识别测试被削弱、断言无意义或错误被掩盖等问题,避免测试形同虚设。

主要能力:包含六类检查。一是禁用测试,检测 .skip/.only、@unittest.skip、@pytest.mark.skip、pytest.skip() 等;二是琐碎断言,如 expect(true).toBe(true)、toBeTruthy()、toBeDefined()、assert True;三是错误吞没,即 try/catch 中只记录或空处理、未对错误做断言;四是被注释掉的 HTTP 调用并以内联 mock 替代;五是 mesa-optimization,即通过删断言、删边界用例、改期望值来让测试通过;六是被抑制的安全脚本警告,如 eslint-disable security、nosec、noqa。

使用方式:先确定审计范围,PR 场景只扫描被修改的测试文件,系统审计则扫描指定目录,常见模式为 .test.js、.spec.ts、test.py、test.py。随后用资料提供的 grep 命令扫描,例如 grep -rn -E ".(skip|only)(" tests/ spec/ tests/,Python 用 grep -rn -E "(@unittest.skip|@pytest.mark.skip|pytest.skip()" tests/;琐碎断言用 grep -rn -E "(expect(true)|expect(false)|.toBeTruthy()|.toBeFalsy()|.toBeDefined())" tests/。发现项按 CRITICAL、HIGH、MEDIUM、INFO 分级,并生成报告给出修复建议与结论(阻塞、要求修复或带警告通过)。错误吞没与 test weakening 需人工结合上下文与 diff 判断。

适用场景:QA 代理的测试评审、合并前验证、测试失败时排查质量问题、对整个代码库或功能区域做系统审计。

限制:多数检查依赖 grep 与人工复核,无法完全自动判定语义;资料未提供收费、价格、平台与具体集成方式等信息。