SuperAPI AI 工具集

knowledge-base-rag

智能体与模型

查看项目

更新于 10-15 22:38

技能介绍

用途:Knowledge Base RAG 用于构建基于私有文档的问答与语义搜索系统,解决大语言模型无法访问训练截止后信息或专有信息的问题。通过从向量库检索相关文档并注入提示上下文,使模型回答基于事实、最新且组织专属的知识。

主要能力:实现完整 RAG 流水线,包括文档摄取(PDF、MD、HTML)、文本与元数据提取、智能分块、嵌入生成、向量库索引、语义检索、重排序、上下文提示构建、LLM 生成及带引用来源的回答。分块策略包括语义分块、递归分割(尊重标题、代码块、表格等结构)和重叠窗口,并按文档类型匹配策略。重排序步骤使用交叉编码器优化初始向量搜索结果。

使用方式:适用于构建私有文档问答系统、从文档/维基/PDF 创建可搜索知识库、通过检索事实降低幻觉、实现大规模文档语义搜索、构建产品专属客服机器人,或用户询问 RAG、向量搜索、文档嵌入时。实现上提供 Python 代码示例,包含 Chunk 数据类、RecursiveChunker 递归分块器和 RAGPipeline 类,支持异步摄取与查询。

最佳实践:使用尊重文档结构的递归分块;分块大小设为 256-512 tokens,重叠 10-15%;在传给 LLM 前用交叉编码器重排序;每个分块包含来源元数据以生成引用;索引前按内容哈希去重;指示 LLM 在上下文缺少答案时明确说“不知道”。

平台兼容:Cursor、VS Code、Windsurf、Claude Code、Cline 支持完整流程,aider 部分支持。

限制:资料未提供具体安装命令、收费、价格或效果数据;实际效果取决于所选嵌入模型、向量库和 LLM,需自行集成。