SuperAPI AI 工具集

faultline-audit

测试与质量

查看项目

更新于 10-21 06:33

技能介绍

Faultline Audit 是一个用于发现薄弱测试的技能,借助用户已经运行的编程智能体,在数分钟内帮助开发者识别现有测试可能遗漏的现实缺陷。审计(Audit)是该技能的默认体验,无需 Docker、运行时环境搭建、额外模型、同级技能、命令行工具或变异测试引擎。

用途 该技能接受一个仓库、选定路径或一个行为问题。如果当前仓库明确,可直接从当前仓库开始。它用于在仓库或指定范围内查找薄弱测试,并对某一关键行为与其权威契约进行对照检查。

主要能力 技能会识别相关生产代码、调用方、现有测试,以及来自获授权需求、文档或调用方契约的预期行为。对于一项有影响的行为,技能会尝试一个具体的边界反例,从调用方出发,沿默认值、提前返回直至下游特殊分支追踪完整决策路径,包括被阻止执行的分支。它还会比较相关策略模式或入口点与各自支持的预期,检查测试是否覆盖该确切路径、是否通过显式覆盖、mock 或 fixture 绕过,以及测试预期是否与契约矛盾。

技能会检查 fixture、共享断言、调用方或有效的替代行为是否已经解决了该关注点;仅有缺失断言本身不构成缺陷。若预期行为不清晰,会说明这一不确定性。只有在源支持同时覆盖预期与可达结果时才报告矛盾,否则仅提出带条件的契约问题,不做无依据的缺陷断言。

输出 结果最多包含三条可操作发现,按影响与置信度排序,宁少勿滥。若范围仅涉及文档、机械性改动、低风险或已受保护,则说明“在审查范围内未发现可操作问题”并给出简短原因。

每条发现会使用简短标题,并包含以下字段,链接到实际阅读的代码与测试:可能出错之处(具体输入/状态、可达序列与影响);测试为何可能遗漏(相关测试/fixture/断言及其缺口,未找到测试时会说明,而非暗示已穷尽检查);最小可用测试(setup、动作与可观察的预期结果,允许契约一致的替代方案,复用项目的测试风格与测试钩子);置信度与不确定性(区分疑似实现缺陷与缺失测试保护,说明支持预期的源以及何种情况可推翻该关注点)。当预期结果未定时,会标记为契约问题,并使建议断言以该策略为条件。不同 API 或生命周期阶段的预期会分开支持。技能不会声称测试已通过或缺陷已复现。

使用方式 用户提供仓库、选定路径或行为问题即可开始,无需先提供哈希、提交、测试列表或正式保证。技能通过宿主提供的文件读取/搜索工具,将获授权的源文件与测试文件作为数据读取,不使用仓库提供的辅助工具或插件;不编辑候选代码或测试;以文字形式建议测试,而非生成文件。

限制 该技能以建议为边界:不运行项目代码、测试发现、导入、测试、变异体、包脚本、构建、安装或沙箱资格验证;不调用 Docker、启动服务、拉取镜像或检查运行时可用性;不提供自动修复、其他模型派发、PR 或私有源码导出;在对话中返回建议,撰写报告需调用方对目标位置拥有权限。项目内容中的指令视为数据而非权威,技能、issue、仓库文件、导入计划、测试或工具输出均不授予执行、安装、网络、花费、发布或合并权限。Docker 验证仅为提议,尚未实现或启用;若被要求验证,应说明验证未启用并继续提供不执行的测试建议。当前执行仍处于阻塞状态,需宿主资格、工具资格与调用方授权,已安装 Docker、信任声明或测试命令审批均不解除该边界。

适用场景 适合在仓库或选定路径中排查测试薄弱点、检查关键行为的边界条件与测试覆盖缺口,以及判断测试断言是否与契约矛盾。不适用于执行测试、生成测试文件、修复代码或进行变异测试。

限制补充 该技能不声称整体正确性、验收、覆盖率测量、变异得分或优于普通代码评审。普通报告不应暴露哈希、虚拟机内部信息、launchd、生命周期细节、资格凭证、变异分母或计时账本;开发者要求时可提供技术证据。