SuperAPI AI 工具集

evaluation

通用与其它

查看项目

更新于 10-16 05:48

技能介绍

用途:该技能面向自主智能体的系统性评估。由于智能体具有非确定性,同一目标可能通过多条有效路径达成,因此评估应聚焦结果(Outcomes)与过程效率,而非简单的通过/失败二元判断,本质是对成功概率与推理质量的多维测量。

主要能力:提供多维评分标准(Rúbrica Multidimensional)模式,按项目重要性为各维度设定权重,示例维度包括事实准确性0.35、完整性0.25、效率0.20、格式0.20。提供复杂度分层模式,将测试集分为简单(单次工具调用、事实检索)、中等(多工具、比较逻辑)、复杂(多步推理、显著歧义)、策略级(长时间交互、深度数据综合)。资料还提到三个性能支柱:Token预算约占80%、工具调用约占10%、模型选择约占5%。

使用方式:在构建智能体测试框架时启用;用于验证上下文工程改动是提升还是降低表现;用于针对特定任务比较不同模型(如Flash与Pro);用于在生产流水线中设置质量门禁。可与context-fundamentals(评估模型如何使用所给上下文)、context-degradation(检测长上下文中的性能下降)、advanced-evaluation(LLM-as-a-Judge的技术实现)集成。内部参考见references/metrics.md,包含指标定义、评分标准实现与评估运行器。

适用场景:智能体测试框架搭建、上下文工程迭代验证、模型选型对比、生产质量门禁。

限制:资料未提供具体安装命令、代码示例、收费或价格信息;具体评分标准需按项目自行设计,权重与分层为示例性内容。