用途:从错误分析出发,为某个已知失败模式编写一个代码检查,类似针对每条 trace 断言应有行为的单元测试。
主要能力与用法:先陈述规则,确定检查所需的 trace 字段或参考数据;若规则需要解释判断,改用 write-judge-prompt。随后用项目所用语言与评估框架实现该检查,并按框架要求的格式返回结果和原因。
校验方式:测试已知通过和失败的用例,包括边界情况;在可用 trace 上运行并检查错误。若规则用代理指标代替人工判断,需将其结果与人工标注对比。
示例对应关系:输出结构非法可解析输出并检查必填字段;缺失或禁止文本可匹配字符串或模式;引用不在检索文档中可比对引用 ID 与检索 ID;错误工具调用可对照工具 schema 检查参数,或在安全测试环境运行调用;值错误可与参考值比较。
限制:规则应尽量客观;对兼具客观与解释部分的失败,用代码检查客观部分,其余交给 judge。其余实现细节与平台支持以资料为准,暂未提供。