用途：面向智能体系统的评估框架，用于系统化测试智能体表现、验证上下文工程选择、衡量随时间推移的改进、在部署前发现回归、为流水线建立质量门禁，以及对比不同智能体配置。不适用于LLM裁判设计、成对比较、校准与偏见缓解（属于advanced-evaluation），也不适用于自主控制面、回滚与审批边界设计（属于harness-engineering），以及先于度量的特定上下文故障调试（属于context-degradation）。
主要能力：
- 关注结果而非执行路径，允许智能体走不同有效路径。
- 多维评分标准，分别覆盖事实准确性、完整性、引用准确性、来源质量、工具效率，并按用例加权汇总，避免单一分数掩盖维度失效。
- 确定性校验先于模型评分：结构合法性、重复键、评分数学、清单同步、检索状态、必要证据路径等可机器检查项应快速失败。
- 评分量级映射（0.0–1.0）与权重加权，一般用例通过阈值约0.7，高风险应用约0.9，并保留各维度分数。
- LLM即裁判用于规模化评估，裁判模型应与被测智能体不同模型家族，以降低自我增强偏见。
- 人工评估补充边缘用例与生产抽样。
- 有状态智能体采用终态评估，断言最终状态而非路径。
- 测试集设计：早期20–30例，成熟后50例以上；按简单、中等、复杂、极复杂分层，并分 stratum 报告。
- 上下文工程评估：对比不同上下文策略、运行退化测试、确定性能悬崖与安全运行上限。
- 持续评估：集成到开发流程自动运行、跟踪趋势，生产抽样监控并设置质量下降告警（例如通过率0.85警告、0.70严重）。
使用方式：先定义质量维度，再编写评分标准（含清晰等级描述），构建来自真实使用与边缘用例并按复杂度分层的测试集，实现自动化评估流水线，建立基线后对每次重大变更运行评估并对比基线，持续跟踪指标，定期人工复核。确定性校验失败应先于质量判断返回，避免无效产物被有利的LLM评分掩盖。
适用场景：智能体性能系统测试、上下文工程验证、部署前回归拦截、智能体流水线质量门禁、不同配置对比、生产系统持续评估。
限制与注意事项：避免过拟合特定路径、忽略边缘用例、单一指标崇拜、忽略上下文效应、跳过人工评估。需防范LLM裁判自我增强偏见、测试集污染、指标博弈、单维度评分、评估集过小、未按难度分层、把评估当一次性发布门禁。不同模型家族选择、令牌预算、工具调用数、模型选择对性能方差的影响需结合生产现实衡量。具体内部指标参考、外部基准与研究资源需按需查阅，该技能未提供固定平台或默认安装命令。