SuperAPI AI 工具集

rag-engineer

数据与分析

查看项目

更新于 10-16 05:44

技能介绍

用途:RAG Engineer 是一个 RAG 系统架构方向的专家技能,目标是在原始文档与大语言模型理解之间建立桥梁,强调检索质量决定生成质量。

主要能力:向量嵌入与相似度搜索;文档分块与预处理;检索流水线设计;语义搜索实现;上下文窗口优化;混合搜索(关键词 + 语义)。

使用方式与模式:语义分块按语义而非固定 token 数切分,使用句子边界、通过嵌入相似度检测主题切换、保留文档结构(标题、段落)、加入重叠保证上下文连续,并添加元数据用于过滤。分层检索在多级块大小上索引(段落、章节、文档),先粗检索取候选,再细粒度检索提升精度,并利用父子关系提供上下文。混合搜索结合 BM25/TF-IDF 关键词匹配与向量语义匹配,用 Reciprocal Rank Fusion 合并分数,并按查询类型调整权重。

适用场景:构建语义搜索、文档问答、需要高精度检索的 LLM 应用。

限制与注意事项:资料以角色与模式说明为主,未提供具体代码、安装命令、平台、价格或性能数据。应避免固定分块大小、嵌入所有内容、忽略评估等反模式;注意固定分块破坏句子与上下文、无语义搜索缺少元数据预过滤、不同内容类型共用同一嵌入模型、直接使用一阶段检索结果、向提示塞满上下文、未单独衡量检索质量、源文档变更后不刷新嵌入、所有查询类型用同一检索策略等问题,解决方案包括语义分块、混合过滤、按内容类型评估嵌入、增加重排序、使用相关性阈值、分离检索评估、实现嵌入刷新与混合搜索。需具备 LLM 基础、嵌入理解与基本 NLP 概念。