SuperAPI AI 工具集

data-profiling

数据与分析

查看项目

更新于 10-16 07:25

技能介绍

用途:面对陌生数据集时做结构性侦察,快速摸清表的规模、粒度、主键、字段角色与质量状况,为后续分析或建模打基础。

主要能力:表级盘点(行数列数、每行代表的粒度、唯一标识列、最新加载时间、最早日期);列角色分类(键、属性、度量、时间戳、自由文本、布尔标志、嵌套结构);列级检查,包括空值数量与占比、去重计数与基数比、高频与低频取值;数值列的极值、均值、中位数、标准差、分位阶梯、零值与负值统计;文本列的字符长度、空串、格式与大小写一致性、首尾空白;日期列的范围、空值、未来日期、跨月分布与节奏缺口;布尔列的计数与比例。

关系与质量:识别外键候选、层级维度、相关度量、计算列与重复信息;按完整度分级(>99%、95-99%、80-95%、<80%);检查取值归一化失败、类型不匹配、坏引用、规则违背与跨列矛盾;标记哨兵值、异常默认值、陈旧记录、物理不可能值与取整痕迹;评估新鲜度与刷新节奏。

模式识别:判断分布形态(钟形、右偏、左偏、双峰、幂律、均匀);观察趋势、季节性、星期效应、节假日影响、水平漂移与孤立异常;通过3到20个取值的分类列发现分群;对数值列建立两两相关矩阵,标注|r|>0.7的强关联,并提示相关不等于因果。

使用方式:可直接对仓库执行模式化查询,例如枚举表、查看列元数据、按存储占用排序表、逐表统计行数;并沿消费层向上游追踪血缘,梳理 raw/staging/mart 结构。输出按数据集摘要模板记录用途、粒度、主键、行数、刷新频率、责任团队、重要列、连接路径、已知注意事项与典型查询场景。

限制:该技能强调流程与检查项,具体性能、价格与自动化程度暂未提供。