SuperAPI AI 工具集

data-tidy

数据与分析

查看项目

更新于 10-16 06:49

技能介绍

用途:把来自各种形态的脏数据(杂乱 .xlsx/CSV、粘贴的邮件或 Markdown 表格、Word 表格、Outlook .msg、PDF 表格)整理为干净、经校验的结构化 .xlsx,并附审计/变更报告。

主要流程与能力 意图优先:先询问数据用途、目标输出列与格式、校验规则,再据此剖析与提议,避免猜测。 采集:ingest.read_any(path) 处理 .xlsx/.csv/.tsv、.pdf(规则表→文本布局→本地 OCR 回退)、.docx 表格与 .msg;read_paste(text) 处理粘贴表格。多数据表工作簿会抛出 SheetSelectionRequired,需用 list_sheets 选择后传 sheet 参数。万行以上用 read_large 防 OOM。 剖析与质量评分:profile_table/render_profile 展示列、推断类型、缺失率、重复行等;score_quality/render_quality_report 按列给出完整性 A–F 与问题清单,可只出报告后停止。 提议配方:明确源列到目标列映射、类型格式、去重键与校验规则;分类值不一致时可提议标准化,但须用户确认。 确认后执行:apply_recipe 确定性执行列转换、去空白/总计行、精确去重、模糊近似重复仅标记不合并、校验;write_xlsx 输出,render_report 生成变更报告。 复用:可将配方烘焙为 runner 与卡片,复用前先读 .md 卡片核对列是否漂移,匹配则 python tidy_[name].py [file] [-o out.xlsx],漂移则更新重生成。

使用方式:从技能目录运行,需将插件根 scripts/ 加入路径后导入 ingest 与 dataclean。依赖 Python + openpyxl;PDF 需 PyMuPDF(pdfplumber 可选);.docx 需 python-docx;.msg 需 extract_msg;仅扫描件 OCR 需本地 Tesseract(非 pip,Windows 可用 winget install UB-Mannheim.TesseractOCR)。可运行 python ../../scripts/envcheck.py 预检。

安全与限制:人在环中,执行前必先展示剖析与配方,执行后给报告,绝不静默转换财务数据;无法解析的单元格保留原值并标记,不猜值。结果仅为待复核草稿,非认证数据集。引擎本地运行、无网络调用,OCR 仅用本地 Tesseract;但驱动该技能的 AI 智能体会把读取内容送入其上下文发给 AI 提供商,因此不宣称数据绝不离开本机。Tesseract 缺失时数字 PDF 与表格仍可用,仅扫描件受影响。

适用场景:财务承诺、日程、对账单等敏感表格的整理、校验与可复现审计。反馈可按格式保存为 feedback_[skill]_[date].txt 手动提交。