用途:当需要围绕 RAG 输出的 grounding、relevance、completeness、citation/support、abstention 和答案级证据开展分析、设计或验证准备,或评审 Agent/RAG/LLM 方案并形成可执行改进项时使用。输入不完整时仍可交付带假设、信息缺口和人工决策边界的受限初版。
主要能力:固定 query/sample ID 与知识库、索引、检索、模型、Prompt 版本;建立 query→检索 chunk ID/版本→原子声明→引用位置→支持/矛盾/缺失的映射,不以有引用直接判定 grounding。分别评估引用准确性、声明支持与答案完整性;用知识覆盖内可回答与覆盖外应拒答对照,分别判断正常任务正确性、错误拒答和应拒答幻觉,拒答率不能代替质量。缺 chunk、真值、权限或门槛时保持 UNKNOWN/NOT_RUN,并区分检索缺陷与生成曲解。
使用方式:先阅读并遵循 prompts/rag-quality-testing.md,包括输入审计、领域覆盖和输出顺序;提取范围、环境、版本、时间窗口、约束、成功标准和可用证据。默认输出 Markdown,按领域风险、证据状态、优先级和边界组织;需要表格、CSV、JSON 或工单格式时保留相同发现字段。进入自动化前确认 schema、枚举值、必填项和证据来源。需要时读取 references/domain-decision-example.md、evals/eval.yaml 及匹配用例;仅当目录实际存在且任务需要时才读取 references/、examples/、scripts/ 或 output-formats.md。
适用场景与限制:适用于 RAG 质量评审、证据梳理与验证设计;不替代业务负责人或人类对风险接受、例外批准和安全决定的判断。不得编造系统行为、字段、模型输出、数据、阈值、根因、执行记录或通过结论;静态设计、计划、文件存在或 dry-run 只能保留原证据状态,不能升级为真实执行证明。涉及用户数据、生产或安全时采用最小权限、脱敏数据、mock、dry-run 或隔离环境。