SuperAPI AI 工具集

vector-db

通用与其它

查看项目

更新于 10-16 01:10

技能介绍

用途:该技能面向向量数据库与检索系统设计,帮助构建语义搜索、推荐引擎和 LLM 知识增强(RAG)系统,覆盖嵌入选择、索引策略、分块、混合检索与生产部署。

主要能力与原则:按领域和检索任务选择嵌入模型,通用模型适合广泛场景,领域微调嵌入可提升专业内容召回;距离度量需匹配嵌入训练目标,归一化嵌入用余弦相似度,关注量级用点积,空间距离用 L2;分块大小直接影响检索质量,过大稀释相关性,过小丢失上下文;索引选择在速度、内存与召回间权衡,需了解 HNSW、IVF 与 flat 索引特性;生产系统应结合稠密向量与稀疏关键词检索(混合检索)。

技术要点:可用 OpenAI text-embedding-3-small、Cohere embed-v3 或开源 sentence-transformers(all-MiniLM-L6-v2、BGE、E5)生成嵌入;HNSW 索引可配置 M(每节点连接数,通常 16-64)与 efConstruction(构建质量,通常 100-200),值越高召回越好但内存与构建时间增加;分块可采用固定大小加重叠(如 512 token 加 50 token 重叠)、按段落或章节的语义分块,或尊重文档结构的递归切分;混合检索可同时执行向量相似度与 BM25/关键词查询,再用 RRF 或 Cohere Rerank、交叉编码器重排序;可用元数据(日期、类别、权限)在查询时过滤,多数向量库支持预过滤或后过滤;RAG 流程包括查询嵌入、检索 top-k、可选重排序、带来源引用的上下文组装与 LLM 生成。

常见模式:父子检索(嵌入小块精确匹配,返回较大父文档作为上下文)、多向量表示(标题、摘要、全文分别嵌入)、上下文检索(在嵌入前为每个块前置文档级摘要或元数据)、评估流程(用 precision@k、recall@k、NDCG 衡量检索质量)。

限制与注意:不要未经基准测试就对所有场景使用同一嵌入模型;索引前需预处理文档,去除样板、规范空白,并将表格与代码块作为结构化内容处理;生产 RAG 不应跳过重排序;不要只存向量而丢失原文与元数据,否则无法组装上下文、调试与审计。具体安装命令、收费与平台支持暂未提供。