用途:评估智能体系统。智能体具备动态决策、非确定性和多解特征,因此评估应聚焦结果而非执行路径,判断其是否以合理过程达成正确结果。
主要能力:构建多维度评分量表,分别衡量事实准确性、完整性、引用准确性、来源质量与工具效率,再加权汇总;采用 LLM-as-judge 实现大规模评估,并用人工复核补充边缘案例;针对会修改持久状态的智能体采用终态评估;设计按复杂度分层的测试集;验证上下文工程策略并运行上下文退化测试;搭建自动化评估流水线并监控生产质量。
必要用法:先定义与用例相关的质量维度,再编写评估代码;创建层级描述清晰的量表;从真实使用模式和边缘案例构建测试集,按简单、中等、复杂、极复杂分层,规模化时至少 50 例;建立基线指标,在每次重大变更后运行评估并与基线比较,持续跟踪趋势;在生产中采样评估,阈值可参考警告 0.85、严重 0.70 的通过率。评分映射到 0.0 至 1.0 并加权,一般用例阈值约 0.7,高风险场景约 0.9。评估模型宜与被评估模型属不同家族,以避免自我增强偏差。
适用场景:系统测试智能体性能、验证上下文工程选择、衡量改进、部署前捕捉回归、为智能体流水线设置质量门禁、比较不同配置、持续评估生产系统。
限制与注意事项:避免对特定路径过拟合、忽略边缘案例、单一指标、忽略上下文影响、跳过人工评估;注意测试集污染、指标博弈、评估集过小、未按难度分层以及把评估当作一次性发布门禁等问题。具体基准套件、论文、生产监控实践等外部资源暂未提供详细内容。