SuperAPI AI 工具集

building-rag-systems

智能体与模型

查看项目

更新于 10-16 06:48

技能介绍

用途:构建生产级 RAG(检索增强生成)系统,覆盖文档摄取流水线与向量检索。

主要能力:摄取流水线由爬取器、解析器、分块器、嵌入器、上传器五部分组成。分块采用语义边界(按 ## 标题切分),目标 400 tokens、15% 重叠,并记录 prev/next 链以支持上下文扩展。变更检测用 SHA-256 文件哈希对比文件系统与索引,实现增量更新,无需外部状态库,直接查询 Qdrant payload。嵌入使用 OpenAI 批量接口(默认 text-embedding-3-small,批大小 20)。检索支持多条件过滤(租户隔离、模块、章节范围、硬件层级、熟练度等),并可沿 chunk 链扩展前后文或按 parent_doc_id 取回整篇文档。

使用方式:安装依赖 pip install qdrant-client openai pydantic python-frontmatter;按爬取→解析→分块→嵌入→上传顺序执行;创建集合时对每个过滤字段建立 payload 索引;运行 python scripts/verify.py 验证。

适用场景:文档知识库、多租户内容检索、需要增量更新与过滤检索的 RAG 应用。

限制:资料未提供具体性能数据、收费信息或部署环境要求;示例代码依赖 Qdrant 与 OpenAI,其他向量库或嵌入模型需自行适配。