用途：在已有可运行的 RAG 流水线基础上，系统化衡量其质量，而非凭感觉判断。
主要能力：区分三类失败模式并对应指标——检索漏掉相关文档用 Recall@k；检索返回无关文档用 Precision@k、Context Relevance；生成幻觉用 Faithfulness、Answer Grounding。强调检索与生成指标必须同时报告，不能只报忠实度。
评测集构建：建议 20-50 条带标注相关 chunk ID 的问题，少于 20 条方差过大。需刻意包含多跳、负样本（答案不在语料中）、精确匹配、抽象综合四类问题，负样本最常被遗漏。缺少真实查询时可用 LLM 从 chunk 生成问题，并过滤掉源 chunk 不在 top-5 的合成问题。
检索指标：提供 retrieval_metrics 计算 recall@k、precision@k、MRR；MRR 适合用户只看首条结果，Recall@k 适合全部 k 个 chunk 都送入上下文。Context Relevance 用 LLM 按 1-3 分评判，需对全部 k 个 chunk 取平均。
生成指标：Faithfulness 判断答案中每条事实主张是否被检索上下文支持，区分忠实与正确；Answer Relevance 判断答案是否切题。低答案相关性加高忠实度通常意味着检索问题。
幻觉检测：针对不可回答问题单独统计 hallucination_rate，避免被可回答问题的聚合分数掩盖。
LLM 评判偏差：位置偏差需交换 A/B 顺序取平均；冗长偏差需在提示中控制长度；自评偏差应换用不同或更强模型；上线前用 10-20 条人工标注样本校准，Cohen's kappa 低于 0.6 说明评判不可靠。
基线对比：需与无 RAG、Oracle（注入真实 chunk）、上一版本配置对比；oracle gap 小于 0.05 说明优化生成器收益更大，大于 0.15 应先修检索。
基础设施：异步并发运行评测，持久化原始评判输出而非仅分数，高价值评测重复两次并标记分歧，运行前估算成本。
报告：建议同时报告 Recall@5、Precision@5、MRR、Context Relevance、Faithfulness、Answer Relevance、Hallucination Rate，阈值需按领域校准。
限制：资料未提供具体安装命令、依赖版本、支持的模型或平台范围，也未说明收费与价格信息。