SuperAPI AI 工具集

agent-evaluation

智能体与模型

查看项目

更新于 10-15 21:56

技能介绍

用途:在创建新技能后、将智能体部署到生产环境前、智能体行为不一致时,或对 AI 辅助工作进行 /qa-review 时,对技能、命令或智能体进行质量评估;也用于比较不同方法或模型。

主要能力:核心原则是智能体具有非确定性,应评估结果与推理质量而非具体执行路径。资料称三个因素解释 95% 的性能差异:token 用量(80%)、工具调用(10%)、模型选择(5%)。提供五维评分表:指令遵循 30%、输出完整性 25%、工具效率 20%、推理质量 15%、响应连贯性 10%;通过阈值为一般场景 0.70、关键操作 0.85。评估方法包括直接评分(快速)、LLM-as-Judge(可扩展)、成对比较(主观场景更可靠,需交换 A/B 顺序检测位置偏差)、压力测试(针对强制规则的技能,如时间压力、沉没成本、权威、疲惫等场景)。还包含偏差检测(位置偏差、长度偏差、自我增强、冗长偏差)与按任务类型的指标(通过/失败任务用精确率、召回率、F1;评分量表用 Spearman 相关 ρ>0.8;偏好用一致率与位置一致性)。

使用方式:直接评分时先写理由再给分,可提升可靠性 15-25%;LLM-as-Judge 使用评审提示模板,逐维度先解释推理再给 0.0-1.0 分并计算加权总分;成对比较需两轮交换顺序;压力测试针对规则型技能设计场景。测试用例按难度分层:简单、中等、困难、对抗性,并覆盖空输入、超长输入、歧义指令、冲突需求、超出技能范围等边界情况。

适用场景:部署前 QA、排查不一致行为、比较方法或模型、规模化系统评估。

限制:不适合一次性输出(人工审查更快)、创意工作(主观难以评分)、实时评估(会增加延迟)。资料未提供具体安装命令、收费或平台信息。