用途:单智能体评测无法发现协调类缺陷,如交接丢失、角色混淆、责任推诿、状态传递不完整。该工具为多智能体系统补充角色级指标、协调失败场景与完整对话记录评分。
适用时机:两个及以上智能体协作(编排者加工作者、对等智能体、A2A);仅在生产多智能体运行中出现的问题;需要比较编排模式(层级式、对等式、黑板式);A2A 协议集成。
主要能力:按角色测量任务完成率与工具调用有效性;按交接测量状态传递完整性与交接延迟;按系统测量端到端成功率、总成本与延迟;检测推诿循环与死锁。
协调失败测试套件:故意注入丢消息(验证接收方检测与重试)、过期状态(接收方须刷新)、冲突指令(谁优先)、对等体静默失败(超时无错误)、角色越界(编排者做工作者的活)、权限混淆(工作者覆盖编排者决定)、交接中途预算耗尽(能否优雅处理)。
对话记录评分:使用评分标准对角色遵守、交接质量、终止、推诿循环、面向用户质量打分,由 LLM 作为评判者,须看到带角色标签的完整记录而非仅最终输出。
用法:目录含 scenarios、runs、grader.py、reporter.py。快速开始:from harness import Scenario, run_scenario, grade;加载场景、运行、评分、生成报告。CI 门禁:回归集上 role_adherence 低于 0.9 阻止合并;检测到新推诿循环阻止;端到端成功率较基线下降超过 5 个百分点阻止。
限制:资料未提供具体安装命令、依赖版本、支持的模型或平台、收费信息,也未给出完整评分实现细节。