SuperAPI AI 工具集

data-autocleaning

数据与分析

查看项目

更新于 10-16 05:49

技能介绍

用途:为 Dataform/dbt/BigQuery 管道提供自动化数据剖析、质量评估与转换。资料强调,只要数据源是 BigQuery 或 GCS(含复制、移动、追加、摄取、提取等操作),都必须使用本技能,且作用于源节点而非后续管道步骤。

主要能力:强制使用 Dataplex 做剖析(不可用临时 BigQuery 查询替代);处理垃圾值、单位归一化、多格式时间类型转换;处理 JSON(SAFE.PARSE_JSON、JSON_VALUE/JSON_QUERY 等)、数组(去 NULL、去重、保持大小写)与 STRUCT/Record;按目标模式对齐字段。

使用方式:资料给出四步流程。步骤1做前置检查,用 python3 scripts/dataplex_scanner.py 采集剖析,命令模板为:python3 scripts/dataplex_scanner.py --tables <project.dataset.table> <project.catalog.namespace.table> --location <location> --output-dir <output_dir>;运行前须向用户展示命令并获得明确批准。GCS 源须先建外部表。location 必须是具体区域如 us-central1,不支持 us 类多区域。步骤2生成转换;步骤3用 Dataplex 对临时样本表(最多 100 万行,1 小时 TTL)再剖析,对比空值增幅(>1% 需关注)与取值范围,迭代修复;步骤4记录每个转换的目的、问题、SQL 逻辑与收益。

限制:剖析结果未返回前不得敲定转换(除非用户拒绝扫描);若扫描被拒,改用 bq 样本查询手动验证且不可再次索要批准;不得做大小写转换、列拆分合并(无目标表时)等未授权操作。