SuperAPI AI 工具集

rag-architecture

智能体与模型

查看项目

更新于 10-16 09:59

技能介绍

该技能是一套 RAG(检索增强生成)架构模式库,按七层组织:摄取(源→解析文本)、分块(文本→可检索单元)、嵌入、存储、检索、生成、评估。

主要能力包括:分块决策树,按内容类型选择策略(代码用 AST、Markdown 按标题、版式复杂 PDF 用 Unstructured/Marker、纯文本语义分块约 512 token 且 10% 重叠、对话按消息对、表格按行),超长文档用父子分层分块;混合检索结合密集向量与 BM25,用倒数排名融合(RRF,score = sum(1/(rank_i+60)));重排序提供交叉编码器(如 ms-marco-MiniLM-L-6-v2,可自托管)、Cohere rerank-3、ColBERT、LLM 重排等选项;生成提示要求逐条标注 [doc_id] 引用、信息不足时明确拒答、不得添加文档外内容;评估给出检索指标(Recall@k>0.8、Precision@k>0.6、MRR>0.7、NDCG@k>0.8)和生成指标(忠实度、答案相关性、引用准确性、p95 延迟)。

使用方式上,资料提供五个实现模式:递归分块摄取、pgvector 嵌入与索引、BM25+密集向量的混合检索、交叉编码器重排序、RAGAS 评估,含 LangChain、sentence-transformers、RAGAS 等代码。示例命令与代码保持原样。

限制与注意事项:资料中的向量库性能数字为近似值,依赖维度与硬件;文档列出的常见错误包括无拒答指令导致幻觉、检索到无关块仍被使用、演示与生产语料不一致需重新嵌入、纯密集检索漏掉精确词、检索过慢、重排候选过多等,并给出相应修复方向。具体部署参数与收费信息暂未提供。