SuperAPI AI 工具集

databricks-parsing

数据与分析

查看项目

更新于 10-15 20:32

技能介绍

用途:该技能用于在 Databricks 上将非结构化文档解析为结构化文本,是文档处理和自定义 RAG 流水线的基础。

主要能力:核心为 SQL AI 函数 ai_parse_document(content) 或 ai_parse_document(content, options),输入为二进制文档内容(来自 read_files 的 format => 'binaryFile'),输出为带 document.pages[]、document.elements[]、metadata 的 VARIANT。支持 PDF、DOC/DOCX、PPT/PPTX、JPG/JPEG、PNG。可通过 execute_sql 调用。

用法要点:先解析文档,再用 transform() 与 try_cast() 拼接元素文本,交给 ai_query 抽取结构化字段;或构建 RAG:解析并切分写入 Delta 表,启用 Change Data Feed 后用 databricks-vector-search 建立 Delta Sync 索引并查询。生产环境可用 Structured Streaming,按文件哈希 repartition 并行、以 checkpoint 保证 exactly-once、trigger(availableNow=True) 处理待办文件后停止。将 VARIANT 传入 explode 前须先 variant_get(doc, '$.document.elements', 'ARRAY<VARIANT>') 转换。

常用选项:version 设为 '2.0'、imageOutputPath 保存渲染页图、descriptionElementTypes 控制 AI 生成描述。

限制与注意:需 Databricks Runtime 17.1+ 和 Serverless SQL Warehouse,区域限 US/EU 或启用跨地域路由;大文档开发时用 LIMIT 控制成本;explode() 不接受原始 VARIANT;解析会产生页眉页码等碎片,建议用 length(trim(...)) > 10 过滤;ai_query 建议 returnType => 'STRING' 以避免 markdown 代码围栏;避免重复解析未变文档可用带 checkpoint 的流式处理。相关技能包括 databricks-vector-search、databricks-agent-bricks、databricks-spark-declarative-pipelines、databricks-dbsql。