SuperAPI AI 工具集

antithesis-review-inputs

测试与质量

查看项目

更新于 10-15 19:56

技能介绍

用途:审查某个工作负载(workload)的输入生成方式,评估其随机性在多大程度上驱动被测系统进入多样化的状态空间。被测系统视为黑盒,审查完全基于工作负载代码和用户提供的文档。该技能为只读,只产出发现报告,不修改工作负载、不提 PR、不建议具体代码改动。核心框架是“未开发的探索”:发现的是工作负载可达范围的上限,而非缺陷。

适用场景:用户长时间找不到 bug,想判断是否是输入生成限制了 Antithesis 的探索范围;也适合作为人工编写或智能体生成工作负载的定期健康检查。

核心原则:每次运行应随机化策略本身,而非仅在固定策略下随机化选择;不同运行应通过不同配置偏向探索不同行为区域。

工作流程:先定位工作负载(如 antithesis/test/ 下的测试命令脚本、被引用的源文件与客户端库;位置不明显时询问用户);阅读 references/anti-patterns.md 获取反模式目录;检查工作负载的动作选择(是否固定全量激活、权重是否固定、顺序是否由 harness 强加、是否总成对出现)、数据生成(值是否硬编码、范围是否每次变化、输入是否总是有效、负载大小跨度)与结构(并发级别是否固定、节奏是否恒定、是否总从空状态开始);按反模式构建发现并分层为高信号、值得考虑、观察三类,无法判断严重性时说明并交由用户判断;报告结构包括工作负载做什么、按层分组的发现、以及已经做对的部分。语气为“你可以探索但尚未触及的空间”,而非批评。范围不涵盖断言质量、系统正确性、工作负载代码正确性及基础设施配置。