用途:在开展分析前,对新数据集进行系统化剖析,理解其结构、质量与潜在模式,判断数据是否可用。
主要能力分为几个阶段。结构理解阶段:确认表的行数与列数、粒度(一行代表什么)、主键及其唯一性、数据更新时间与时间跨度,并将各列归类为标识符、维度、度量、时间、文本、布尔或结构型。列级剖析阶段:对每列统计空值数量与空值率、去重数与基数比、最常见与最少见取值;数值列计算最小值、最大值、均值、中位数、标准差、分位数、零值与负值;字符串列统计长度、空字符串、格式、大小写一致性与首尾空白;时间列统计最小与最大日期、空日期、意外未来日期、按月或周的分布与时间序空隙;布尔列统计真假与空值数量。关系发现阶段:识别外键候选、层级结构、相关性、派生列与冗余列。
质量评估框架包含完整性评分(按非空比例分为完整、较完整、不完整、稀疏四档)、一致性检查(取值格式、类型、引用完整性、业务规则及跨列一致性)、准确性指标(占位值、默认值、陈旧数据、不可能取值、整数偏好等红旗信号)以及时效性评估。模式发现技术涵盖分布分析(正态、右偏、左偏、双峰、幂律、均匀)、时间模式(趋势、季节性、周内效应、节假日效应、变化点、异常点)、分段发现与相关性探索,并明确提示相关不等于因果。
使用方式:可借助 PostgreSQL 等数据仓库的 information_schema 查询表清单、列详情与表大小,逐表统计行数,并从输出表反向追溯上游血缘与转换链路。技能还提供模式文档模板,用于记录表描述、粒度、主键、行数、更新频率、负责人、关键列说明、关系、已知问题与常见查询模式。
适用场景:初次接触新数据集、数据质量评估、理解表结构与字段含义、为分析或建模做前置准备。
限制:资料未提供具体收费、价格、支持平台或依赖工具等信息,暂未提供。