用途:围绕 RAG/Agent/LLM 的检索质量做有证据的分析、设计与验证准备,覆盖查询变体、分块策略、过滤条件、召回与精确率代理、排序及新鲜度。输出默认 Markdown,可按领域风险、证据状态与优先级组织;用户要求时可改为表格、CSV、JSON 或工单格式,但须保留相同的发现字段、证据与决策边界。
主要能力:先阅读并遵循 prompts/rag-retrieval-testing.md(完整执行规范,每次必读),提取范围、环境、版本、时间窗口、约束、成功标准与证据;区分已确认事实、证据支持的推断、候选建议和人工决策;把高风险项转为前置条件、步骤、预期结果、所需证据与验证方法。
用法要点:给 query 及相关集合固定标注规则、文档/chunk 粒度、标注者与版本;Recall@k 分母取已知相关集合,Precision@k 按实际返回数与重复 chunk 规则计算;逐结果核对 top-k/rank、相关性、租户/权限过滤、新鲜度与文档版本;控制相同 query、索引、过滤和资源以比较排序或配置变化;区分 retrieval failure 与 generation failure,缺标签保持 UNKNOWN。
适用场景与限制:适合检索质量评审与测试准备、受限初版交付、风险分级与验证方案设计。不替代业务负责人或人工做风险接受、例外批准与安全决定;不编造系统行为、字段、模型输出、阈值、根因或通过结论;静态设计、文件存在或 dry-run 不视为真实执行证据;证据不足时用待确认、blocked、unassessed 或 NOT_SCORED,并给出最小验证方法;涉及用户数据、生产或安全时使用最小权限、脱敏、mock、dry-run 或隔离环境。评测需读取 evals/eval.yaml 与 evals/cases/ 下匹配用例,仅有目录实际存在且任务需要时才读取 references/、examples/、scripts/ 或 output-formats.md。价格、具体命令与安装方式资料未提供。