SuperAPI AI 工具集

dspy-ragas

智能体与模型

查看项目

更新于 10-15 23:58

技能介绍

用途:指导用户用 Ragas(开源 RAG 评估框架,Apache 2.0)评估 DSPy RAG 流水线,把 RAG 质量拆解为独立指标,分别衡量检索器与生成器,从而判断该修哪一环。

主要能力:分解式指标包括 Faithfulness(答案是否有检索上下文支撑,无需参考答案,评生成器)、AnswerRelevancy(答案是否切题,无需参考答案,评生成器)、ContextPrecision(相关文档是否排在前面,需参考答案,评检索器)、ContextRecall(是否召回全部相关信息,需参考答案,评检索器)、AnswerCorrectness(答案是否匹配参考答案,端到端)。

使用方式:安装 pip install ragas 或 pip install "ragas[dspy]"。先运行 DSPy RAG 流水线收集 user_input、response、retrieved_contexts、reference;再用 EvaluationDataset 与 SingleTurnSample 构造数据集;然后 from ragas import evaluate 并传入所需指标;结果可 to_pandas() 查看逐样本分数、找最差样本。默认用 OpenAI,也可用 LangchainLLMWrapper 配置其他 LLM。ragas[dspy] 还提供 DSPyOptimizer,基于 MIPROv2 优化 Ragas 自身指标提示词,属进阶用法。

适用场景:需要诊断检索器还是生成器出问题、做无参考答案评估、或在优化后做深度分析时使用。若只需整体准确率或用作优化目标,应改用 dspy.Evaluate 的快速指标(如 SemanticF1)。

限制:每个指标每样本会多次调用 LLM,100 样本 5 指标约 500 次调用,需考虑成本;不宜作为优化目标,速度过慢;ContextPrecision 与 ContextRecall 需要参考答案;Ragas v0.2+ API 有变化,旧示例需改用 EvaluationDataset 与 SingleTurnSample。