SuperAPI AI 工具集

ai-searching-docs

办公与效率

查看项目

更新于 10-15 23:58

技能介绍

用途:指导构建能搜索文档并准确回答问题的 AI,采用 DSPy 的 RAG(检索增强生成)模式——先检索相关段落,再基于段落生成答案。适用于知识库、帮助中心问答、与文档对话等场景。

主要能力:

  1. 数据加载与切分:用 LangChain 文档加载器读取 PDF、文本、CSV、网页、Notion、JSON 等,并用 RecursiveCharacterTextSplitter 等切分为适合嵌入与检索的块。
  2. 向量库与检索:支持 ChromaDB、Pinecone、Qdrant、Weaviate、pgvector 等,也可用 DSPy 内置 dspy.Embeddings(内部用 FAISS)。各后端通过继承 dspy.Retrieve 并实现 forward() 接入。
  3. 检索问答流水线:定义 dspy.Signature 与 dspy.Module,用 dspy.Retrieve 取段落,再用 dspy.ChainOfThought 生成基于上下文的答案。
  4. 多文档/多步检索:当问题需要跨文档信息时,先生成搜索查询,再迭代检索并去重上下文。
  5. 评测与优化:可用精确匹配或 AI 评判指标,配合 dspy.BootstrapFewShot、dspy.MIPROv2 优化。

使用方式:安装技能命令为 npx skills add lebsral/DSPy-Programming-not-prompting-LMs-skills --skill <name>。基本流程为加载数据、切分、建向量库、配置 dspy.configure(lm=..., rm=...)、构建模块并调用。

限制与注意:若全部文档能放入上下文(约 100K token 以内)则不必用 RAG;查询针对同一已知文档、需要精确关键词搜索或实时数据时也不适合。切块大小比检索器选择更关键,建议从 512 token、50 token 重叠起步;不要跳过重排;k 值需调优;嵌入模型与切块方式在索引和查询时必须一致,否则需重建索引。资料未提供具体收费、价格与效果保证。