SuperAPI AI 工具集

rag-architect

数据与分析

查看项目

更新于 10-16 23:59

技能介绍

用途

rag-architect 是一个面向生产级 RAG(Retrieval-Augmented Generation,检索增强生成)系统设计的技能,覆盖从需求分析到检索质量评估的完整流程。

核心工作流

技能定义五步工作流,每一步完成后需通过检查点验证再进入下一步:

  1. 需求分析:明确检索需求、延迟约束、准确性要求和规模。
  2. 向量库设计:选择数据库、模式设计、索引策略、分片方案。
  3. 分块策略:文档切分、重叠、语义边界、元数据增强。
  4. 检索流水线:嵌入选择、查询转换、混合检索、重排序。
  5. 评估与迭代:指标追踪、检索调试、持续优化。

参考指南

技能按上下文加载以下详细指南:向量数据库(对比 Pinecone、Weaviate、Chroma、pgvector、Qdrant)、嵌入模型(选择、微调、维度权衡)、分块策略(文档切分、重叠、语义分块)、检索优化(混合搜索、重排序、查询扩展、过滤)、RAG 评估(指标、评估框架、检索调试)。

实现示例

技能给出五类代码示例,涵盖:使用 RecursiveCharacterTextSplitter 进行分块并附加来源与时间戳元数据;使用 OpenAI 嵌入模型与 Qdrant 创建集合、批量生成嵌入并通过确定性 ID 实现幂等去重写入;结合稠密向量检索与 BM25 稀疏检索的混合搜索(含租户过滤与加权排序);使用 Cohere 对 top-k 结果重排序;使用 ragas 与 datasets 对 context_precision、context_recall、faithfulness、answer_relevancy 等指标进行评估。示例中给出检查点断言,如分块必须包含 source 元数据、去重后计数需与唯一 ID 数一致、混合搜索需返回非空结果、context_precision 不低于 0.7 且 context_recall 不低于 0.6 后再接入 LLM。

约束

必须做:在领域数据上评估多个嵌入模型后再选定;生产系统实现混合搜索(向量+关键词);为多租户或领域检索添加元数据过滤;测量检索指标(precision@k、recall@k、MRR、NDCG);在将上下文传给 LLM 前对 top-k 结果重排序;实现带确定性 ID 的幂等摄入与去重;持续监控检索延迟与质量;对嵌入做版本管理并规划模型迁移。

禁止做:未在领域数据上评估就使用默认分块大小(512);跳过元数据增强(来源、时间戳、章节);只关注 LLM 输出质量而忽略检索质量指标;未经预处理/清洗就存储原始文档;复杂多领域检索仅用余弦相似度;未在生产级数据量上测试就部署;忘记处理边界情况(空结果、畸形文档);将嵌入模型与应用程序代码紧耦合。

输出模板

设计 RAG 架构时应交付:系统架构图(摄入+检索流水线)、向量数据库选型与权衡分析、分块策略及示例与理由、检索流水线设计(查询→结果流程)、评估计划(指标、基准、通过/失败阈值)。

适用场景与限制

适用于需要构建或优化 RAG 检索系统的工程场景。技能本身为设计流程与代码示例指导,不包含具体部署环境、收费或价格信息;相关平台、效果数据暂未提供。

引用文档

以下为作者声明的引用来源,保留指定版本、署名和许可。

作者的来源声明