SuperAPI AI 工具集

rag-methodology-guide

智能体与模型

查看项目

更新于 10-16 07:17

技能介绍

用途:本指南介绍如何为学术研究设计与实现检索增强生成(RAG)系统,使语言模型的生成基于外部知识库。适用场景包括对个人论文库进行问答、跨数百篇论文的文献综述、针对来源文档核查论点,以及生成带出处引用的答案。

主要能力与流程:指南给出四阶段管线。一是查询处理,将查询嵌入,可选查询扩展或 HyDE。二是检索,在向量数据库中搜索 top-k 相关片段,可选使用 cross-encoder 重排。三是上下文组装,把检索片段拼入提示词并附加来源、页码、引用等元数据。四是生成,由 LLM 基于检索上下文作答并加入行内引用。

文档分块:列出固定长度、按句、按段、按章节、递归、语义等分块策略,学术论文推荐按章节切分;示例用 RecursiveCharacterTextSplitter 设置 chunk_size、chunk_overlap 与分隔符优先级,并为每个片段附加标题、作者、年份、DOI、源文件等元数据。

嵌入与索引:对比 OpenAI text-embedding-3-small/large、Cohere embed-v3、sentence-transformers、BGE、nomic-embed-text 等模型,并列出 ChromaDB、FAISS、Pinecone、Weaviate、Qdrant、pgvector 等向量库。示例使用 BGE 模型与 ChromaDB 持久化客户端建立集合并写入向量。

检索与生成:给出基础向量检索函数(返回文本、元数据与相似度),以及结合 BM25 稀疏检索与 RRF 融合的混合检索示例;生成环节展示带引用标记的提示词模板,要求仅使用所给片段、信息不足时明确说明。

评估与最佳实践:列出检索精确率、召回率、NDCG、答案正确性、忠实度、答案相关性、上下文相关性等指标,可用 RAGAS 自动评估。最佳实践包括按章节分块、保留元数据、使用领域特定嵌入(如 SPECTER2)、检索后重排、处理表格与图、部署前系统评估。

限制:资料未提供完整可运行工程、部署步骤、具体成本核算、平台支持情形或实测效果,相关事实暂未提供。