SuperAPI AI 工具集

knowledge-ingestion-patterns

数据与分析

查看项目

更新于 10-16 01:16

技能介绍

该技能用于把不同内容类型系统化地摄取到 RAG(检索增强生成)与向量数据库中,核心目标是让分块方式匹配未来要提的问题,并用丰富的元数据支持过滤检索。

适用内容类型包括:网站与网页内容、PDF 文档、代码仓库、对话导出、研究笔记、API 文档。

核心原则:为检索而分块(chunk for retrieval);元数据很重要,可支持过滤搜索;拆分时保留上下文;去重,避免同一内容重复摄取。

PDF 文档模式:适用于研究论文、报告、电子书、扫描文档。分块采用页面感知加重叠,并单独处理表格与图。示例代码使用 PyMuPDF(import fitz)提取分页文本并合并段落成块,用 pdfplumber 抽取表格并转成 Markdown。元数据字段含 type(pdf 或 pdf_table)、source、page、total_pages、table_number。

网页内容模式:适用于文档站、文章、博客。先用 httpx 获取页面,再用 BeautifulSoup 清理 HTML,移除 nav、footer、aside、script、style 等噪声,优先从 main 或 article 提取正文,按 section/div 分块,过短内容跳过;若无结构化区块则按约 450 至 500 词切分。爬虫按同域名、最多 max_pages 限制抓取。元数据字段含 type、source、domain、title、crawl_depth。

研究笔记模式:按段落拆分,支持通过标题行或短行加冒号识别主题,记录 topic、ingested_at、word_count,并可用附件函数补齐 source_url、source_title、researcher 等来源归属信息。

限制:本页仅展示上述模式与示例,具体安装命令、运行环境要求、官方收费、性能效果以及其他内容类型的细节未提供,需以实际项目环境为准。