SuperAPI AI 工具集

agent-tool-testing

测试与质量

查看项目

更新于 10-16 01:34

技能介绍

用途:当需要验证 AI 智能体的工具选择、参数契约、授权、失败恢复与副作用边界时使用本技能。它也可用于审查已有的计划、结果或证据集,产出可落地的改进建议;在上下文不完整时,仍可先做一次有边界的首轮评估。

主要能力:覆盖工具选择正确性、参数生成与校验、授权、超时与重试、幂等性、副作用隔离、结果解读和审计证据。输出默认使用 Markdown;当用户要求表格、CSV、JSON 或工单字段时,保留风险、证据、优先级与边界信息;面向机器消费的输出需先确认 schema、枚举与必填字段。

使用方式:阅读并遵循 prompts/agent-tool-testing.md,其中包含输入契约、执行规则、最低覆盖范围与输出顺序。只补充会改变决策的上下文,如范围、环境、版本、约束、证据与成功标准。先审计输入,再区分已确认事实、工作假设与待解问题,按风险与证据强度排序,产出可直接执行或复核的工件。信息缺失时给出有边界的首轮结果,并说明哪些结论缺乏支撑。评估或回归时读取 evals/eval.yaml 及 evals/cases/ 下相关用例;仅在 references/、examples/、scripts/ 或 output-formats.md 存在且任务需要时加载。

限制与约束:默认使用 mock、dry run 或隔离环境;未经授权绝不执行真实写入;重试测试必须检测重复副作用;不得编造证据中不存在的系统行为、字段、数据、指标或根因;重要结论需关联证据,无支撑结论应标为假设并给出验证方法;优先级需用业务影响、可能性或可检测性解释。常见误区包括只列检查项而无前置条件、预期结果或证据,全部标为高优先级,用工具名或通用理论替代领域推理,以及拒绝不完整输入或假装不完整证据支持确定性。