SuperAPI AI 工具集

api-error-contract-testing

测试与质量

查看项目

更新于 10-16 01:34

技能介绍

用途:从错误响应 Schema、HTTP 状态码约定、错误码目录、鉴权规则、日志与脱敏要求中,提取 API 错误契约一致性候选,输出 AEC-## 发现。适用于需要解释选择理由、适用约束、证据缺口和最小验证动作的场景;材料不完整时也可交付受限初版,并标明 blocked 或 unassessed 边界。不适用于直接执行测试、生成无来源的契约或行为、替代完整测试策略,或替人接受风险。

主要能力:按 operation 与错误触发建立契约表,涵盖 HTTP 状态、业务码、必需字段与类型、关联 ID、重试含义和脱敏规则,允许有来源的 operation 例外;交付 operation×错误的一致性表,逐项保留契约预期、响应观察和来源,只有违反适用规则才列发现,差异本身不算缺陷。

使用方式:阅读 prompts/api-error-contract-testing.md,提供目标、范围、材料、环境和已有证据;先完成 known、missing、conflicting、stale、out_of_scope、assumptions 六类输入审计;用 AEC-## 记录对象、前置条件、关注行为、来源证据和验证方法,并保留影响/优先级、责任角色、关闭条件和证据状态。默认输出 Markdown,表格、JSON 或 CSV 仅在明确需要时使用。

限制:不执行测试,不假设未提供的规则、版本、阈值、数据或响应,不把候选数量当作覆盖证明;文件存在、名称匹配、设计声明或 Eval 配置不等于真实执行证据;未知项标为 unassessed、blocked 或待确认,不用常识补齐;不修改需求、代码、测试资产或目标系统。回归时读取 evals/eval.yaml 和匹配用例,触发验证使用 evals/trigger-prompts.csv 和 evals/local-rules.json,缺少 skill.selection 证据时报告 BLOCKED。