SuperAPI AI 工具集

rag-infrastructure

数据与分析

查看项目

更新于 10-28 04:52

技能介绍

用途:本技能面向RAG的生产化基础设施,用于在内部文档上构建知识库问答、对大规模文档做语义检索、用检索上下文降低LLM幻觉,并搭建嵌入流水线与向量存储。

主要能力:提供文档分块(递归字符切分、Markdown按标题切分)、本地嵌入模型(如BAAI/bge-large-en-v1.5)与Qdrant集合的写入;稠密与稀疏向量混合检索(示例使用SPLADE,并说明SPLADE是学习式稀疏检索而非BM25),结合RRF融合;重排序(Cohere rerank-english-v3.0或本地CrossEncoder);以及检索→重排→生成的完整RAG查询流水线。另给出常见问题与修复建议,如分块大小、上下文过长、摄入慢、文档陈旧、嵌入成本等。

使用方式:需Python 3.10+与pip,准备向量数据库(Qdrant、Weaviate、Pinecone或pgvector)、嵌入模型(OpenAI、Cohere或本地sentence-transformers)和LLM端点(OpenAI API或自托管vLLM),本地向量库可用Docker部署。资料提供Docker Compose示例,但需自行提供ingestion/与api/构建,并配置vllm服务;混合检索前需先将稠密与稀疏向量写入同一hybrid-kb集合。运行代码片段前需对齐客户端与库版本。

适用场景:企业内部文档问答、大规模语义搜索、需要引用来源的知识助手、多租户RAG(用命名空间隔离)。

限制与边界:应在检索阶段而非仅在提示中执行文档与租户权限校验;检索内容是不可信数据,不能授权工具或覆盖指令,需与可信系统规则隔离;外部嵌入或重排服务会传输文档文本,需获得授权;重摄入应使用稳定分块ID并处理删除更新以保证幂等。基础设施命令可能影响服务,执行前需确认目标主机与范围并做好备份;资料为文档导入,上游脚本与模板未随附。