用途:审查既有的检索增强生成(RAG)系统,找出质量在哪个阶段泄漏并定位根因,适用于被要求审计或诊断 RAG 管线的场景。若从零设计新系统,应改用 rag-design-doc。
主要能力:按阶段逐一评估摄取、切分、嵌入模型、向量库、检索(top-k、是否混合)、重排与生成提示;输出包含摘要与前三项修复、逐阶段发现表(阶段、发现、严重度、根因、修复)、症状到阶段的映射诊断、按影响与成本排序的修复计划,以及评估缺口分析。
使用方式:无需完整信息即可开展。对未提供的阶段先推断并标注为假设,同时标明需确认处,不因信息缺失而拒绝审查。若未提供,会先索要:当前架构(摄取、切分、嵌入、向量库、检索、重排、生成提示)、症状(错误、无依据、过时、拒答等坏答案示例及期望答案)、语料(规模、结构、更新频率)、约束(延迟、成本、多租户与权限隔离需求)。
质量检查要点:每个症状须追溯到具体阶段而非归咎于模型;检索质量与答案质量须分开评估(否则这一缺口本身即为首要发现);发现按严重度排序,修复按影响而非阶段顺序排序;对含精确词或 ID 的查询评估混合检索与重排;检查生成阶段的接地指令与“我不知道”行为;权限隔离须在检索层验证而非仅界面。
限制与反模式:不应在检索故障时建议微调模型;不应只审查生成提示;不应只给无严重度与优先级的平铺清单;不应假定语料正常;不应跳过评估缺口。具体费用、价格、平台支持等信息资料暂未提供。