SuperAPI AI 工具集

data-extract

数据与分析

查看项目

更新于 10-16 01:19

技能介绍

用途:从文档形态的来源(表单、多表格 PDF、扫描件)中定位并抽取结构化数据,输出 .xlsx 加审计报告。与 data-tidy 相对:tidy 清理已接近表格化的数据,extract 负责从文档中把数据找出来。

主要能力:支持键值/表单模式(extract_fields 每份文档一条记录)与表格模式(list_tables 列出候选后用 get_table 取行)。可批量处理同结构的多种文档,经 fields_to_table 汇总为一个 .xlsx。支持 PDF、.docx、.pptx、.msg;扫描页自动回退到本地 Tesseract OCR;图表、表格截图、UI 截图、示意图等图片可用 scripts/image_extract.py 经视觉模型抽取。共享引擎位于插件根 scripts/(dataclean.py、ingest.py、extract.py)。

使用方式:在技能目录运行,先将 ../../scripts 加入路径并 import extract、dataclean,然后定义 FIELDS(含 name、labels、type,货币字段可加 code_target 保留币种),调用 extract.extract_fields 或用 list_tables/get_table 取表,最后经 dataclean.write_xlsx 写出并打印报告。批量表单用 extract.field_columns(FIELDS) 生成表头。图片抽取示例:python scripts/image_extract.py chart.png -o extracted.xlsx;python scripts/image_extract.py ./screenshots/ -o batch.xlsx。若某文档类型会反复出现或流程复杂,可用 dataclean.emit_runner 生成可复用 runner 与卡片,运行命令形如 python extract_[doctype].py [doc...] [-o out.xlsx]。复用前须先读 .md 卡片并比对当前源,防规格漂移。

适用场景:订阅确认函、对账单、证书等键值型文档;含一个或多个表格的报告;同结构文档批量抽取;图表或表格图片转数据。

限制:默认只交付结果,回环复用需权衡。OCR 仅用于扫描件且保真度较低;图片/图表抽取例外地会将图片发往用户配置的视觉 API,需要 VISION_API_KEY 或 OPENAI_API_KEY,无密钥时明确退出、不回退 OCR。运行需 Python 及 PyMuPDF、openpyxl;pdfplumber、python-docx、python-pptx、extract_msg 按格式可选;扫描 OCR 需本地 Tesseract 外部程序。.ppt 旧格式不支持,需先转 .pptx。抽取结果仅供人工核验,未找到字段留空并标记,绝不编造。外部二进制与模型端点等未提供的细节,资料中暂未说明。