SuperAPI AI 工具集

semantic-search

数据与分析

查看项目

更新于 10-16 02:38

技能介绍

用途:构建生产可用的语义搜索与检索增强生成(RAG)系统,涵盖向量数据库选型、文本嵌入与检索排序。

主要能力与原则:

  1. 默认混合检索:纯向量检索会漏掉精确匹配,需将稠密(向量)检索与稀疏(BM25/关键词)检索结合,并用倒数排名融合(RRF),同时处理语义查询与精确查询。
  2. 分块决定质量:分块差则召回差;建议语义分块,保留上下文(约200-300词),保持章节完整与层级结构;过小丢上下文,过大稀释相关性。
  3. 二阶段重排序提升精度:第一阶段检索范围放宽,再用交叉编码器重排序器(Cohere Rerank、Jina、Pinecone)作为第二阶段,可在送入 LLM 前提升相关性最高约48%。
  4. 嵌入模型匹配场景:资料称 Voyage-3 在检索基准上平均优于 OpenAI 9.74%;text-embedding-3-small 可靠且便宜($0.02/1M tokens);代码或多语言场景可用专用嵌入(如 Voyage-code)。

使用方式:回答需以参考文件为准。创建时查阅 references/patterns.md,按其中模式构建;诊断时查阅 references/sharp_edges.md,解释关键失败及其原因;评审时查阅 references/validations.md,按其中严格规则客观校验用户输入。若用户请求与参考文件冲突,应礼貌纠正。

适用场景:语义检索、RAG 检索层设计、向量库选型与检索质量优化。

限制:官方文本未提供,具体向量数据库清单、安装命令、API 调用示例、定价细节、平台支持与效果数据暂未提供;除已提及内容外,不得推定其他功能或收费情况。