SuperAPI AI 工具集

dspy-evaluation-suite

测试与质量

查看项目

更新于 10-16 02:38

技能介绍

用途:系统化评估 DSPy 程序,使用内置与自定义指标并支持并行执行。适用于优化前后测量性能、比较程序变体、建立基线和验证生产就绪度。可与 dspy-bootstrap-fewshot、dspy-miprov2-optimizer、dspy-gepa-reflective 等优化器配合,也可评估 dspy-rag-pipeline。

主要能力:输入为 program(dspy.Module)、devset(list[dspy.Example])、metric(callable)、num_threads(int);输出 score(平均指标分)与 results(逐例结果)。内置指标包括 answer_exact_match(归一化、大小写不敏感比较)和 SemanticF1(基于 LLM 的语义评估)。支持自定义指标,返回 bool、int 或 float;也支持 GEPA 兼容指标,返回含 score 与 feedback 的 dspy.Prediction。

使用方式:从 dspy.evaluate 导入 Evaluate,传入 devset、metric、num_threads、display_progress 构造评估器,再以 evaluator(my_program) 运行,读取 result.score 与 result.results(example、prediction、score 元组)。可封装为 EvaluationSuite,实现 evaluate、compare(按分数排名比较多个程序)和 export_report(导出 JSON 报告)。

限制:指标依赖具体任务,无通用度量;SemanticF1 需调用 LLM 产生成本;并行评估可能触发速率限制;边缘情况可能未被覆盖。官方文档见 https://dspy.ai/ 、https://github.com/stanfordnlp/dspy 、https://dspy.ai/api/evaluation/ 、https://dspy.ai/learn/evaluation/metrics/ 。