SuperAPI AI 工具集

RAG Pipeline Builder

智能体与模型

查看项目

更新于 10-15 22:34

技能介绍

用途:RAG Pipeline Builder 是一个技能,用于引导设计和实现检索增强生成(RAG)系统,使大语言模型的回答基于自有数据中的相关上下文,降低幻觉,并让模型使用私密、最新或领域特定的知识。适用场景包括文档问答机器人、客服系统、企业知识助手。

主要能力:覆盖完整 RAG 栈,包括文档接入、分块策略、嵌入生成、向量存储、检索优化、上下文注入和回答生成;帮助在准确性、延迟、成本和规模等要求下做出各阶段决策。

核心工作流:一是设计 RAG 架构,先定义需求(数据源与格式、查询类型与模式、准确性要求、延迟预算、规模预期),再选择组件(文档加载器、分块策略、嵌入模型、向量数据库、生成用 LLM、可选重排序层),并设计数据流:文档 → 加载器 → 分块器 → 嵌入器 → 向量数据库;查询 → 嵌入器 → 向量搜索 → 重排序器 → 上下文;上下文 + 查询 → LLM → 回答。二是实现摄取流水线,设置文档加载器(PDF、Markdown、HTML 解析器,实时源 API 连接器,增量更新处理),实现分块并生成嵌入、带元数据存入向量数据库、验证摄取质量。三是优化检索质量,测量 Recall@k、MRR、相关性得分等基线,应用查询扩展/改写、混合搜索、交叉编码器重排序、元数据过滤,并调优 k 值、相似度阈值、多样性/MMR 设置,用测试集验证。

快速参考触发语:设计 RAG 系统、选择向量数据库、优化分块、改善检索、减少幻觉、扩展流水线等。

最佳实践:在语义边界分块;包含来源、章节、页码、时间戳、分类等丰富元数据并在语义搜索前过滤;采用语义与关键词(BM25)混合搜索;两阶段检索加重排序;返回引用与来源;处理检索失败、信息冲突、查询超出知识库范围等边缘情况并优雅降级。

高级技术:多索引策略、查询转换流水线、上下文压缩、Agentic RAG。评估指标包括检索的 Precision@k、Recall@k、MRR,生成的忠实度、回答相关性、上下文利用率,以及端到端任务成功率与用户满意度;工具提及 Ragas、TruLens、LangSmith。

限制:资料为技能说明,未提供具体安装命令、依赖版本、价格、支持平台或可直接运行的完整代码;实际向量数据库与嵌入模型选型需结合自身需求。来源 URL 为 https://www.skills.sh/jmsktm/claude-settings/rag-pipeline-builder。