SuperAPI AI 工具集

agent-failure-recovery-testing

测试与质量

查看项目

更新于 10-16 01:34

技能介绍

用途:围绕 Agent、RAG 或 LLM 方案的故障恢复开展有证据的分析、设计或验证准备,覆盖故障分类、重试/回退/升级、状态一致性、用户通知与恢复证据。输入不完整时仍可交付带假设、信息缺口和人工决策边界的受限初版。

主要能力:按项目协议建立“故障 | 写入是否确认 | 可重试性 | 重试/补偿/升级 | 恢复后状态 | 所需证据”表,区分暂时错误、永久错误和结果不确定;核对部分成功、补偿结果与恢复前后业务状态、重试次数、用户可见结果和资源。

使用方式:先阅读并遵循 prompts/agent-failure-recovery-testing.md,完成输入审计、领域覆盖和输出顺序;提取范围、环境、版本、时间窗口、约束、成功标准和可用证据。默认输出 Markdown,按领域风险、证据状态、优先级和边界组织;用户要求表格、CSV、JSON 或工单格式时保留相同发现字段、证据和决策边界。进入自动化流程前先确认 schema、枚举值、必填项和证据来源。需要评测时读取 evals/eval.yaml 和 evals/cases/ 下匹配用例;校准结果时读取 references/domain-decision-example.md。

适用场景:Agent 故障恢复方案评审、测试设计、证据缺口梳理与改进项形成。

限制:只分析故障分类、重试/回退/升级、状态一致性、用户通知与恢复证据,不替代业务负责人或人工的风险接受、例外批准和安全决定;不编造系统行为、字段、模型输出、数据、阈值、根因、执行记录或通过结论;静态设计、计划、文件存在或 dry-run 不能升级为真实执行证明;证据不足时使用待确认、blocked、unassessed 或 NOT_SCORED,并给出最小验证方法;涉及用户数据、生产或安全时采用最小权限、脱敏数据、mock、dry-run 或隔离环境。超时不能推出未执行,先以 operation_id/幂等键查已提交副作用,同键不得产生第二次业务写入。