SuperAPI AI 工具集

rag-agent-builder

智能体与模型

查看项目

更新于 10-16 08:14

技能介绍

用途

rag-agent-builder 面向需要构建检索增强生成(RAG)应用的开发者。RAG 的核心思路是把大语言模型的能力与外部知识源结合起来:先从知识库中检索相关资料,再把资料作为上下文交给模型,从而生成更贴合具体资料的回答。该技能说明:没有 RAG 时,模型依赖训练数据,可能过时或有限;使用 RAG 时,模型可以结合实时、自定义的知识与训练知识。

适用场景

资料给出的适用场景包括:文档问答(针对 PDF、书籍、报告提问)、知识库搜索(查询内部文档、wiki)、企业搜索(搜索公司专有数据)、特定领域助手(客服、HR 助手)、事实密集型应用(法律文档、医疗记录、财务数据)。资料同时给出不适合 RAG 的情况:通用知识问答、持续变化的实时数据(更适合用工具)、非常简单的查找任务(更适合数据库查询)。

主要能力与架构模式

技能覆盖 RAG 的三大组件:文档检索(从知识库找到相关信息)、上下文整合(把检索到的上下文传给 LLM)、响应生成(基于检索信息生成有依据的回答)。

架构模式包括:

  • 基础 RAG 管道:文档 → 分块 → 嵌入 → 向量库;用户问题 → 嵌入 → 检索 → LLM → 答案。
  • 智能体 RAG(Agentic RAG):由智能体决定检索什么、何时检索,可迭代优化查询。
  • 分层 RAG:多级文档结构,在不同细节层级上检索。
  • 混合搜索 RAG:结合关键词搜索(BM25)与语义搜索(嵌入),兼顾精确匹配与含义。
  • 纠正式 RAG(CRAG):评估检索到的文档相关性,必要时补充检索,保证上下文质量。

实现组件

文档处理:资料给出固定大小分块、语义分块、分层分块的示例代码片段,并提到分块大小会影响检索质量与成本,重叠有助于保持上下文。

嵌入生成:列出常用嵌入模型,包括 OpenAI 的 text-embedding-3-small / text-embedding-3-large,开源的 all-MiniLM-L6-v2、all-mpnet-base-v2,以及领域专用嵌入;建议索引与查询使用同一嵌入模型、存储归一化向量、文档变更时更新嵌入。

向量数据库:列出 Pinecone、Weaviate、Milvus、Chroma、Qdrant,并给出选择维度(规模、延迟、成本、托管或自托管偏好)。

检索策略:给出相似度搜索、混合搜索、重排序的示例,检索参数包括 k 值、相似度阈值、多样性。

上下文整合与生成:给出上下文窗口管理与提示词设计示例,生成策略包括直接生成、摘要、事实落地(引用来源)、迭代优化。

实现模式

资料介绍三种模式:

  • 基础 RAG:分块、嵌入、入库、取 top-k、带上下文传给 LLM;优点是简单快速,缺点是可能漏掉相关上下文、无优化。
  • 智能体 RAG:智能体接收问题后决定是否检索、构造检索查询、可迭代或使用工具;适合复杂问题,但更复杂、成本更高。
  • 纠正式 RAG:对每篇检索文档做相关性评分,效果差时换检索策略、扩大范围或换数据源;答案质量更高,但 API 调用更多、更慢。

使用方式

资料说明可参考 examples/ 目录中的完整实现,包括 basic_rag.py(简单分块-嵌入-检索-生成管道)、retrieval_strategies.py(混合搜索、重排序、过滤)、agentic_rag.py(智能体控制的迭代检索);scripts/ 目录提供辅助模块:embedding_management.py、vector_db_manager.py、rag_evaluation.py。资料还给出 LangChain、LlamaIndex、CrewAI with RAG 的示例代码片段。

最佳实践

资料按四类给出建议:文档准备(清洗文本、保留结构、加元数据、扫描件 OCR、测试分块大小);嵌入策略(索引与查询用同一模型、领域微调、归一化、监控质量);检索优化(调 k、重排序、相关性过滤、监控精确率与召回率、缓存高频文档);生成质量(引用来源、提示模型表明置信度、引用具体文档、长上下文摘要、对照上下文校验答案)。还建议监控与评估:跟踪检索指标、答案质量、记录失败检索、收集用户反馈并迭代。

常见挑战与评估

资料列出四类挑战及对应思路:检索不相关(改进分块、更好嵌入模型、加入元数据、重排序、混合搜索);上下文过大(减小分块、减少 k、摘要、分层检索、按相关度过滤);信息缺失(增大 k、改进嵌入、更好预处理、多策略、文档层级);性能慢(托管向量库、缓存嵌入、批处理、优化分块、更小嵌入模型)。

评估指标分两类:检索指标(Precision、Recall、MRR、NDCG);答案质量指标(相关性、正确性、依据性、用户满意度)。

高级技术与参考资料

高级技术包括查询扩展、文档压缩、主动检索、多模态 RAG。资料还列出关键论文(Lewis 等的 RAG 论文、Guu 等的 REALM)以及框架与向量数据库的官方链接,包括 LangChain、LlamaIndex、HayStack、Pinecone、Weaviate、Qdrant、OpenAI 嵌入文档、Hugging Face。

限制与暂未提供的信息

资料未提供具体安装命令、依赖版本、运行环境要求、收费或许可信息,也未给出官方文档地址以外的使用步骤。以上内容均以资料实际记载为准,缺失事实暂未提供。