SuperAPI AI 工具集

data-cleaning

数据与分析

查看项目

更新于 10-16 00:03

技能介绍

用途:把数据清洗视为对已观测数据集的受控转换,而非表面修饰。适用于表格、文本、JSON 与关系型数据的清洗、剖析、验证、重塑与文档化。

主要能力:按任务路由到方法论文档、工具选型、缺失值/重复/类型/范围/类别/日期/连接操作、文本与实体解析、模式与契约验证、CLI 与交互式工具等参考。提供模板:清洗计划、转换日志、异常登记、模式契约、质量报告。

内置脚本:scripts/profile_dataset.py 对 CSV/TSV/JSONL 做无依赖首轮剖析(缺失、基数、类型候选、重复、范围、异常),用法 python3 scripts/profile_dataset.py data.csv --output profile.json;scripts/reconcile_dataset.py 对比清洗前后数据集的行数、键唯一性与列求和,用法 python3 scripts/reconcile_dataset.py raw.csv cleaned.csv --key id --sum amount --output reconciliation.json;另有 pytest 测试套件。

默认流程:框定决策与验收阈值;冻结证据(路径、时间、哈希、编码、模式、行列数、版本),原始数据只读;先剖析再修改;对每个发现分类为保留、标准化、修复、插补、隔离、拒绝或上报;分层转换(解析→规范化→类型转换→验证→去重→实体解析→插补/隔离→重塑);转换前后各验证一次;评审与发布,比较前后指标并保留可复现性。

限制:剖析与对账脚本仅为首轮证据工具,不决定保留/修复/插补/隔离;仅处理分隔文本与 JSONL,二进制、关系数据库与嵌套文档需其他工具;对账通过仅证明所检查键与求和的结构保持,语义正确性仍需评审。不适用于推断统计、模型选择、ETL 编排或生产数据质量运维。需 Python 3.9+ 标准库,pytest 仅用于测试套件。