SuperAPI AI 工具集

evaluation-metrics

智能体与模型

查看项目

更新于 10-16 08:06

技能介绍

用途:为 LLM 生产系统提供系统化的质量度量与改进方案,覆盖评估框架、基准测试与质量指标。

主要能力:支持基于 RAGAS 的基础评估,使用 faithfulness、answer_relevancy、context_precision、context_recall 等指标;支持 LangChain 的 criteria 评估;提供 BLEU、ROUGE、BERTScore 等文本生成指标;实现 RAG 专属的忠实度、相关性与上下文精确度;内置幻觉检测(对照来源与自一致性检查);提供 MMLU、HumanEval 等基准套件;附带 A/B 测试、统计显著性与指标速查表。

使用方式:通过 datasets 构造评估数据后调用 evaluate;用 load_evaluator("criteria", criteria="helpfulness") 做准则评估;用 evaluate.load 加载 BLEU/ROUGE/BERTScore 计算;基准测试中加载 cais/mmlu 或 human_eval,比较预测与答案并统计 pass@1;评估器可用 EvaluationConfig 配置指标、样本量与置信水平,并可注册自定义指标。

适用场景:RAG 系统质量评估、翻译与摘要指标计算、代码生成正确性评测、模型 A/B 对比、幻觉检测、基准跑分与长期质量跟踪。

限制:资料未提供具体安装命令、依赖版本、收费与价格信息;示例多为框架代码,实际运行需自备模型、tokenizer、LLM 接口与数据集;部分指标依赖英文设定,且需注意采样量、温度设置与统计显著性。建议使用多指标、人工评估、领域定制指标、定期基准测试与版本管理。