用途:为智能体系统构建评测框架。智能体决策动态、多次运行结果不确定、常无唯一正确答案,因此评测应关注结果而非执行路径,并区分确定性校验与质量判断。
主要能力:多维度评分量表(事实准确性、完整性、引用准确性、来源质量、工具效率等),按用例加权并设通过阈值(一般 0.7,高风险 0.9);测试集按复杂度分层(简单、中等、复杂、极复杂),早期 20-30 例、成熟后 50 例以上;LLM-as-judge 模式支持直接打分、成对比较、量表生成、与人工评分校准及偏差缓解;对改变持久状态的智能体做终态断言;持续评测与生产质量监控(警告 0.85、严重 0.70 通过率阈值)。
使用方式:先运行默认模式,待确定性检查与量表稳定后,再进入 LLM-as-judge 模式。制品有机器可校验结构时,先做 schema、重复键、量表计算、清单同步、检索状态等确定性校验,失败即快速返回,再交由模型评判。评判器应使用与被评模型不同的模型家族,先给证据再给分数,成对比较需交换顺序、分歧记为平局。
适用场景:系统化测试智能体表现、验证上下文工程选择、衡量改进、部署前捕获回归、构建流水线质量门、比较不同配置、持续评测生产系统。
限制与注意:避免过拟合特定路径、忽视边界用例、单一指标、忽略上下文影响、跳过人工评审;注意评判器自我增强偏差、测试集污染、指标博弈、评测集过小、未按难度分层、把评测当作一次性发布门。相邻工作如具体上下文失败诊断、评测工具 API 契约由其他技能负责。具体安装命令与代码示例资料未提供。