SuperAPI AI 工具集

rag-systems

智能体与模型

查看项目

更新于 10-16 08:06

技能介绍

用途:该技能用于构建检索增强生成(RAG)系统,通过检索外部文档为生成结果提供依据,适用于对自定义文档做问答、实现语义搜索、搭建向量数据库以及优化检索质量。

主要能力与参数:调用时可传入参数。task(字符串,必填)为 RAG 目标;vector_db(枚举,可选)支持 pinecone、weaviate、chroma、pgvector,默认 chroma;embedding_model(字符串,可选)默认 text-embedding-3-small;chunk_size(整数,可选,单位为字符)默认 1000。

使用方式:典型流程为切分文档、创建向量存储、检索。示例使用 RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200) 切分文档,用 OpenAIEmbeddings(model="text-embedding-3-small") 生成嵌入,并用 Chroma.from_documents(chunks, embeddings) 建立向量库,再以 vectorstore.similarity_search("query", k=5) 检索。

切分策略:技术文档建议 500-800 字符、重叠 100,以保留代码;法律文档 1000-1500、重叠 200,以保留条款;问答/FAQ 200-400、重叠 50,形成原子答案。

嵌入成本:资料列出 text-embedding-3-small 为 $0.02/1M tokens,text-embedding-3-large 为 $0.13/1M tokens,Cohere embed-v3 为 $0.10/1M tokens。

常见问题处理:结果不相关时改进切分并加入重排序;上下文缺失时增大 k 或使用父级检索器;出现幻觉时加入“仅使用上下文”的提示;检索过慢时增加缓存并减小 k。

最佳实践:始终包含来源归属,使用稠密检索与 BM25 的混合搜索,实现重排序以提升质量,并用 RAGAS 指标评估。相关技能包括 llm-integration、agent-memory、ai-agent-basics。限制方面,资料未提供完整部署步骤、各向量库的具体配置细节以及实际效果数据。