用途：对完整检索-生成链路做系统性评估，覆盖评测集设计、检索指标测量、生成质量评估、组件级故障诊断与针对性改进建议。
主要能力：
- 评测查询集设计：已知答案（事实型）、多跳、不可回答、歧义、时效更新等类型，并记录期望答案与来源块。
- 检索评估：Precision@K、Recall@K、MRR，并对每个检索块标注相关/部分相关/不相关。
- 生成评估：有依据性（0-1）、完整性（0-1）、幻觉检测、不可回答查询的拒答能力。
- 故障诊断：检索失败、排序失败、块边界问题、嵌入不匹配、生成失败、幻觉、过度拒答。
- 改进建议：如增大重叠或语义分块、减小 K 并加重排、增大 K 或改混合检索、更换嵌入模型或查询扩展、强化提示中的依据约束并降低温度、放宽拒答标准等。
工作流分六阶段：流水线清点（文档来源、分块策略与大小重叠、嵌入模型与维度、向量库类型、检索方法与 top-K、生成模型与提示模板）、设计评测查询、评估检索、评估生成、诊断故障、给出按优先级排序的建议。输出为结构化审计报告，含配置表、评测数据集统计、检索与生成质量指标表（分数/目标/通过与否）、失败分析表、建议与样例失败。
参考资料文件：references/retrieval-metrics.md、references/generation-metrics.md、references/failure-taxonomy.md、references/diagnostic-queries.md。
前提条件：能访问 RAG 流水线或其输入输出、一组带已知正确答案的测试查询、了解流水线组件。
校准规则：检索与生成独立评估；优先用已知答案问题；量化而非定性描述；深挖单个失败样本。
限制与不适用：流水线尚未构建时应先设计；语料少于 10 篇文档不适合有意义的检索评估；比较嵌入模型属于基准测试而非审计。访问受限时可用已记录的查询-上下文-响应三元组做事后评估。