SuperAPI AI 工具集

deepeval-testing

测试与质量

查看项目

更新于 10-16 05:53

技能介绍

用途:这是一个用于以 pytest 风格对 LLM 进行评估的 DeepEval 技能,适用于创建 LLM 测试、评估 RAG 质量、衡量 faithfulness(忠实度)与 relevancy(相关性),以及构建自定义指标。

主要能力:提供 pytest 兼容的 LLM 测试;内置多种指标,包括 AnswerRelevancyMetric、FaithfulnessMetric、ContextualRelevancyMetric、HallucinationMetric、ToxicityMetric、BiasMetric;支持自定义指标创建;支持异步测试执行。

使用方式:技能在以下情况自动调用:创建 pytest 风格 LLM 测试、评估 RAG 质量、测量 faithfulness/relevancy、构建自定义指标。提供脚本 scripts/init-deepeval.sh 用于初始化 DeepEval 项目,scripts/run-tests.sh 用于运行 DeepEval 测试。模板包括 templates/conftest.py(pytest 配置)、templates/test_basic.py(基础测试结构)、templates/test_rag.py(RAG 评估测试)。

适用场景与限制:适合需要以测试方式持续评估 LLM 输出与 RAG 质量的开发与 CI 流程。关于具体收费、价格、平台支持范围、效果保证及完整安装步骤,资料暂未提供。