用途
RAG Evaluation 是一个面向检索增强生成（RAG）系统的评估技能，主要用于在修改检索、分块、RRF（倒数排名融合）、重排序、引用、答案依据或评估脚本时，提供统一的评估指标与规则约束。其核心目的是确保对 RAG 流程的任何改动都经过量化验证，避免在没有评估依据的情况下声称效果提升。
主要能力
该技能定义了必须评估的指标集合：
- Recall@3
- Recall@5
- MRR
- 引用正确性（citation correctness）
- 证据支持率（evidence support rate）
- 无依据主张率（unsupported claim rate）
这些指标覆盖了检索召回质量、排序质量以及生成答案与证据之间的一致性，可用于衡量 RAG 系统在检索与生成两个环节的表现。
使用方式与规则
该技能附带若干强制规则，用于约束 RAG 系统的实现与评估流程：
- MVP 阶段不得仅使用向量检索（Do not use vector-only retrieval for the MVP）。
- 检索输出中需保持 FAQ、Policy、Case 来源类型可见。
- 检索追踪（retrieval trace）必须保留以下信息：查询（query）、关键词结果（keyword results）、向量结果（vector results）、融合结果（fused results）、最终证据（final evidence）、分数（scores）、doc_type 以及来源 ID（source ids）。
- 未运行评估不得声称有改进（Do not claim improvement without running evaluation）。
适用场景
该技能适用于以下场景：调整检索策略、修改分块方式、调整 RRF 融合参数、引入或修改重排序、修改引用生成逻辑、调整答案依据（answer grounding）机制，以及修改评估脚本本身。在这些改动发生时，使用该技能可确保评估指标与追踪信息被完整保留和验证。
限制
资料中未提供该技能的具体安装命令、依赖环境、支持的平台、收费方式或价格信息，这些内容暂未提供。此外，资料未说明指标的具体计算实现细节或阈值要求。