SuperAPI AI 工具集

multi-agent-testing

测试与质量

查看项目

更新于 10-16 09:33

技能介绍

用途:面向多 Agent 协作的测试与分析,聚焦任务委派、协调协议、共享状态、冲突处理、所有权、终止与 traceability(可追溯性)。适合在证据受限前提下开展分析、设计或验证准备,并评审 Agent、RAG 或 LLM 的方案、结果与证据,产出可执行改进项;输入不完整时交付带假设、信息缺口与人工决策边界的受限初版。

执行方式:每次执行须先读取并遵循 prompts/multi-agent-testing.md,它包含输入审计、领域覆盖与输出顺序。需提取范围、环境、版本、时间窗口、约束、成功标准与可用证据。默认输出 Markdown,按领域风险、证据状态、优先级和边界组织;如要求表格、CSV、JSON 或工单格式,须保留相同的发现字段、证据与决策边界,并在进入自动化前确认 schema、枚举值、必填项与证据来源。

执行要点:用 task/message/correlation ID、sender/receiver、父委派、scope、owner、共享状态版本与 ACK 建立交接轨迹,按真实协议指定接收、拒绝、终止条件;认领或提交须依据项目原子所有权或 fencing 协议,陈旧与重复消息不得重新取得所有权或重复写入,未给 exactly-once 协议时不假定其存在;部分失败分别记录已完成、未完成与不确定副作用,重派前核对 committed 状态;终止传播核对停止 ACK、终态与剩余责任。

约束与限制:只分析上述领域,不替代业务负责人或人工的风险接受、例外批准与安全决定;不编造系统行为、字段、模型输出、数据、阈值、根因、执行记录或通过结论;静态设计、计划、文件存在或 dry-run 只能保留原证据状态,不能升级为真实执行证明;证据不足时使用待确认、blocked、unassessed 或 NOT_SCORED,并给出最小验证方法;涉及用户数据、生产或安全时采用最小权限、脱敏数据、mock、dry-run 或隔离环境。

常见误区包括只列检查点而不说明触发条件、预期关注点、责任角色、关闭条件与证据;把相邻领域测试或模型工具名当作多 Agent 协作的完整判断;用无说明数字制造伪精确;输入不完整时直接拒绝或假装结论确定。参考文件方面,校准领域结果、正确对照或证据缺口时可读取 references/domain-decision-example.md;评测时读取 evals/eval.yaml 与 evals/cases/ 下匹配用例;仅在目录实际存在且任务需要时才读取 references/、examples/、scripts/ 或 output-formats.md,不要假设不存在的资产。