用途:为智能体系统建立评估框架。智能体决策动态、多次运行结果不确定、常无唯一正确答案,因此评估方式不同于传统软件,需关注结果而非执行路径。
主要能力:支持确定性检查、回归套件、多维评分量表、质量门禁与生产持续评估;可验证上下文工程选择、衡量改进、部署前捕捉回归、比较不同智能体配置。
核心做法:以结果为导向,容忍路径差异;用多维量表分别评估事实准确性、完整性、引用准确性、来源质量、工具效率,再加权汇总;先做确定性校验(模式有效性、重复键、量表计算、清单同步、检索状态、必需证据路径),再交给模型评判。
测试集设计:早期用20-30个案例,成熟后扩至50个以上;按简单、中等、复杂、极复杂分层,并分别报告各层得分。
方法:LLM-as-Judge 用于规模化评估,评判模型应与被测模型不同族以避免自我增强偏差;辅以人工评估边缘案例与生产抽样;对有状态智能体采用终态评估。
持续评估:将评估集成到开发流程,自动运行、跟踪趋势、阻止指标回退的部署;生产环境抽样监控,设置警告(0.85通过率)与严重(0.70通过率)阈值。
限制与注意:避免过拟合特定路径、忽视边缘案例、单一指标、忽略上下文影响、跳过人工评估;注意测试集污染、指标博弈、评估集过小、未按难度分层、把评估当一次性工作。评判器设计、成对比较、校准与偏差缓解属于 advanced-evaluation;控制面、回滚与审批边界属于 harness-engineering;上下文退化调试属于 context-degradation。具体安装与使用命令资料未提供。