SuperAPI AI 工具集

retrieval-strategy

智能体与模型

查看项目

更新于 10-15 22:19

技能介绍

用途:为 RAG 与搜索管线实现优化检索策略,覆盖相似度搜索、混合检索、重排序、MMR、分层检索等方案的选型、失败模式与调优。前提是熟悉嵌入与基础向量数据库 API。

主要能力与选型:自然语言查询配散文语料用相似度搜索作基线;含精确术语、型号、ID、代码的查询用混合检索(语义+关键词);top-k 召回好但排序差加重排序器;结果冗余用 MMR;长文档、多跳问题用分层检索。不要默认全上混合+重排,每层都增加延迟与失败面,应先最小化、埋点,再按指标加层。

关键要点:高维余弦距离聚集,阈值不可靠,用 top_k 而非分数阈值;查询与文档嵌入不对称会降召回,对称场景用 all-mpnet-base-v2 类双编码器;分块比选嵌入模型更重要,建议重叠分块、按语义边界切分、父子分块(子块嵌入、返回父块)。混合检索用 RRF 融合排名而非归一化分数,BM25 需与索引一致的分词器。重排序用交叉编码器,只重排 top-20 到 40,分数是序数信号不可设阈值,注意长度偏差。MMR 需在重排时拿到候选向量,λ=0.5 为常用默认。分层检索先文档级再段落级,可加 LLM 上下文压缩。

诊断与权衡:记录 retrieved_ids、rank_of_relevant、MRR、recall@k,用 20-30 条真实查询人工标注 top-3 即可发现多数问题。常见症状对应修复:相关文档排 8-15 名加重排;不在 top-100 查分块与嵌入;top-5 同源加 MMR 或按 doc_id 去重;精确匹配缺失加 BM25;结果好但 LLM 说未找到改用父子分块。延迟优化包括减小 top-k、语义与 BM25 并行、缓存嵌入、仅在分数分布集中时重排。

限制:资料未提供该技能的安装命令、运行环境、收费与平台支持信息。