用途:衡量智能体是否真正按预期工作。核心观点是智能体行为不存在于源码中,代码只说明允许做什么,只有一次运行才能说明实际做了什么,因此被测对象是执行记录。
主要能力:定义三种原语——Run(一次模型调用,含完整提示、工具与上下文)、Trace(一次完整执行,含每次工具调用及参数结果)、Thread(一个会话中的多条 trace,含多轮上下文、状态演化与耗时)。对应三种粒度:单步验证 run,整轮验证 trace(轨迹、最终响应、状态变更三轴),多轮验证 thread(每轮设检查点并快速失败)。评测分三层:离线(有数据集,作为发布门禁)、在线(无参考答案,检测生产漂移)、探索性(对已存 trace 做聚类分析)。强调用窄而具体的行为化通过/失败评分标准,而非笼统打分;先做确定性廉价检查,再交给模型评判;评判需用人工标注校准。还提出在图中放置 checker 节点,只判断可用/不可用,并记录每次判定及其来源。
使用方式:先保证 trace 可持久化、可按 id 查询、可按分数与时间过滤;分数作为一等记录绑定 run_id、key、value 与来源(human、llm_judge、code_check);保存完整提示而非摘要;在轮次边界保存状态快照。可观测标准应在实现之前写好,语料则从生产失败与差评中持续积累,最小化后加入对应粒度并永久保留。
适用场景:构建智能体评测套件、评判轨迹而非仅看最终答案、把生产 trace 转化为测试用例。
限制:多轮评测最难实现好;通用指标无法指导修改;评判模型对看似合理但领域错误的输出不可靠,需人工专家;未校准的评判不可信;checker 可能静默放行,从未拒绝过任何输入的 checker 是问题信号。资料未提供具体安装命令、价格或平台支持信息。