SuperAPI AI 工具集

grounded-rag-ingestion

智能体与模型

查看项目

更新于 10-16 08:11

技能介绍

用途:把文档转换为逐行 JSONL 的溯源分块流,每块标注元素类型、页码、边界框、置信度与阅读顺序,可追溯到源页面具体区域。适合需要引用与审计的 RAG(金融、医疗、法律),支持置信度过滤、阅读顺序感知切分与可审计流水线。

主要能力:提供 uv 可运行的 Python 脚本 chunk.py,端到端驱动流水线并输出 JSONL 到 stdout 或文件;与嵌入无关,止于分块边界,不引入向量库或嵌入提供方。支持三种策略:element(默认,每个空间元素一块)、table-row(每行一块)、reading-order-window(按阅读顺序滑动窗口)。chunk_id 确定性生成,doc_id 默认取输入字节内容哈希而非文件名。

使用方式:需先获取 Nutrient DWS Extract API 密钥并导出为 NUTRIENT_EXTRACT_API_KEY,命令示例:uv run scripts/chunk.py --input doc.pdf --out chunks.jsonl [--doc-id ID] [--mode structure] [--strategy element|reading-order-window|table-row] [--window-size 512] [--min-confidence 0.0] [--skip-pictures] [--yes]。依赖 document-extraction-api 技能,需位于同一插件的 ../document-extraction-api/scripts/,否则设置 PARSE_SCRIPT_PATH。

限制:必须使用 spatial 输出,Markdown 输出会丢失溯源被拒绝;默认 structure 模式下 keyValueRegion 与 formula 元素不生成,需 --mode understand;不负责向量库写入或嵌入生成;成本门控在预估超过 200 积分时需 --yes 或交互确认;输出 JSONL 含文档文本,以 0600 权限写入,应视为敏感数据。