SuperAPI AI 工具集

llm-evaluation

智能体与模型

查看项目

更新于 10-16 03:04

技能介绍

用途:系统化衡量 LLM 应用性能,比较不同模型或提示词,在部署前发现性能回归,验证提示词改动带来的改进,建立基线并跟踪进展,调试异常模型行为。

主要能力:分为三类。自动化指标包括文本生成的 BLEU、ROUGE、METEOR、BERTScore、Perplexity;分类任务的 Accuracy、Precision/Recall/F1、混淆矩阵、AUC-ROC;RAG 检索的 MRR、NDCG、Precision@K、Recall@K。人工评估覆盖准确性、连贯性、相关性、流畅度、安全性和有用性。LLM-as-Judge 支持逐点打分、成对比较、有参考答案和无参考答案四种方式。

使用方式:资料给出 Python 快速入门示例,通过 Metric 数据类与 EvaluationSuite 组织多个指标,异步调用模型对测试用例逐条打分并汇总均值,也支持以 Metric.custom 注册自定义指标,例如 groundedness 检查。

适用场景:需要量化模型输出质量、做 A/B 对比、回归检测或建立评测基线的 LLM 应用开发流程。

限制:资料未提供安装命令、价格、平台支持范围与独立基准结果,详细模式文档位于 references/details.md。