SuperAPI AI 工具集

rag-development

数据与分析

查看项目

更新于 10-15 10:49

技能介绍

RAG Development 是一个面向生产级问答管线的知识库,用于构建、优化或审计检索增强生成(RAG)系统,包括 Graph RAG、CRAG、Self-RAG 等模式。

用途 适用于以下场景:从零搭建新的 RAG 管线;选择分块策略、嵌入模型或向量数据库;实现混合检索、重排序或上下文检索;使用 RAGAS 或 DeepEval 评估 RAG 质量;针对成本、延迟或准确率优化生产 RAG;设计带访问控制的多租户 RAG;从朴素 RAG 升级到进阶模式。

快速上手建议 资料给出的默认起点为:分块采用递归字符切分,512 token,10-15% 重叠;嵌入使用 OpenAI text-embedding-3-small(性价比最佳)或 Cohere embed-v4(准确率最佳);向量数据库使用 Qdrant 并配合标量 INT8 量化;检索采用混合搜索(稠密 + 稀疏 + RRF);评估从第一天起使用 RAGAS 指标。

随后依据实测失败点逐步升级:关键词漏召回时加入稀疏向量(SPLADE/BM25);分块语义模糊时加入上下文检索(Anthropic 模式);结果不相关时加入交叉编码器重排序;多跳失败时升级为 Agentic RAG。

管线架构 文档摄取:原始文档 -> 预处理(Unstructured.io)-> 分块 -> 上下文增强 -> 嵌入 -> 向量数据库。 查询管线:用户查询 -> 查询变换 -> 编码(稠密 + 稀疏)-> 混合搜索 -> 重排序 -> LLM 生成。 评估循环:真实标注 + 预测结果 -> RAGAS/DeepEval -> 忠实度、相关性、精确率、召回率。

关键决策点 分块:默认递归 512 token;结构化文档可改为 markdown 感知;存在交叉引用时可用 late chunking。 嵌入:默认 text-embedding-3-small;需要更高准确率可用 embed-v4;自托管可用 NV-Embed-v2。 向量数据库:默认 Qdrant + INT8;已在 Postgres 上可用 pgvector;需要托管服务可用 Pinecone。 搜索:默认仅稠密;关键词漏召回时加入稀疏混合;多样性不足时加入 MMR。 重排序:默认无;当 top-k 结果包含不相关项时加入 Cohere Rerank。 缓存:默认无;生产环境有延迟或成本顾虑时使用语义缓存。 评估:默认人工抽查;任何生产使用都应采用 RAGAS 自动化指标。

参考材料 references/ 目录下包含详细参考文档:chunking-strategies.md(各类分块方法、代码、基准与选择指南)、embedding-models.md(模型对比、Matryoshka 嵌入、微调、稀疏/稠密/多向量)、retrieval-patterns.md(混合搜索、HyDE、上下文检索、重排序、MMR)、advanced-rag-patterns.md(Graph RAG、RAPTOR、CRAG、Self-RAG、Agentic RAG、多模态 RAG)、vector-databases.md(Qdrant 深入解析、数据库对比、扩展策略)、production-guide.md(评估、可观测性、缓存、安全、成本优化)。

限制 资料未提供具体安装命令、代码示例细节、收费与价格信息、平台支持范围及实际效果数据,这些内容暂未提供。