SuperAPI AI 工具集

byted-bytehouse-data-quality-inspector

数据与分析

查看项目

更新于 10-15 17:30

技能介绍

用途:对 ByteHouse 表的关键键列(分区键、排序键、主键)做快速数据质量分析,识别空值、零值、异常分布和重复键问题。

主要能力:从 system.columns 自动识别键列;统计 Null 值与占比,数值列统计 0 值、字符串列统计空字符串;输出键列 Top 5 值及占比;分别统计主键组合、排序键组合的重复唯一键组数与涉及行数。

使用方式:前置条件为 Python 3.8+、clickhouse-connect(pip install clickhouse-connect)、jq。连接信息保存在 ~/.bytehouse_config.json,含 BYTEHOUSE_HOST 与 BYTEHOUSE_PASSWORD,由用户提供。先 source scripts/export_config.sh 加载配置,再执行 python3 scripts/inspector.py --database <库名> --table <表名>。可对多张表循环调用。无明确关注点时,关注空值占比>1%、零值占比>5%、Top1 占比>20%、重复键行数占比>0.5% 等异常。

适用场景:数据质量检查、排序键/主键/分区键分析、空值/零值分析、重复键检查、Top 分布分析;也可先结合资产分析工具挑出重点表再逐表检查。

限制:只做只读统计,禁止 DELETE、OPTIMIZE、DROP 等 DML/DDL 操作,不自动修复数据。对超大表聚合会占用集群资源,建议业务低峰或独立计算组执行,必要时先确认抽样或只检查疑似问题列。连接失败或表找不到时按提示核对配置与库表名。