用途:评估 GraphRAG(图增强检索生成)系统,判断知识图谱构建、图检索与生成各环节的质量,并给出可执行的改进建议。
主要能力:提供七步工作流——确定评估范围、选择指标、设计测试协议、测试推理能力、测量幻觉率、与基线对比、产出评估报告。评估维度包括知识图谱质量(实体覆盖、关系完整性、模式一致性)、检索质量(上下文召回 C-Rec、上下文精确率、多跳覆盖)、答案正确性(事实准确、答案完整、引用准确)、幻觉率(内在/外在幻觉率、KG 接地率)和推理深度(多跳准确率、逐步验证得分、错误传播率)。
使用方式:按清单逐步执行;测试集需覆盖单跳事实、多跳推理、约束满足、时序推理、比较和负向查询;基线可对比纯向量 RAG、仅 LLM 及不同图配置,并用消融实验隔离各组件贡献。指标选择分三档:快速健康检查、标准评估、生产就绪的全面基准。报告模板含系统信息、范围、各维度结果、基线对比表、统计显著性、弱点与优先级建议,评分标准最低通过分为 3.0。
适用场景:GraphRAG 系统的开发验证、上线前评估与迭代优化。
限制:资料未提供具体实现代码、依赖安装方式、支持的模型或平台、收费与价格信息,也未说明自动化评估管线的具体工具;部分细节需参考 methodology.md、reasoning-patterns.md 和 rubric_evaluation.json。