用途
Data Exploration 是一项数据探索技能,提供系统化的方法论,用于剖析数据集、评估数据质量、发现数据模式以及理解数据库模式。它适用于在正式分析之前,先对数据建立整体认识。
主要能力
该技能围绕以下几个阶段展开:
阶段一:结构理解 在分析任何数据之前,先理解其结构。表级问题包括:有多少行和列、粒度是什么(一行代表什么)、主键是什么以及是否唯一、数据最后更新时间、数据可追溯的时间范围。列分类将每一列归为:标识符、维度、指标、时间、文本、布尔值或结构化类型。
阶段二:列级剖析 对每一列计算:空值数量与空值率、去重计数与基数比、最常见值(前 5-10 个及频率)、最少见值(后 5 个以发现异常)。数值列额外计算最小值、最大值、均值、中位数、标准差、百分位数(p1、p5、p25、p75、p95、p99)、零值计数、负值计数。字符串列额外计算最小/最大/平均长度、空字符串计数、模式分析、大小写一致性、首尾空白计数。日期列额外计算最小/最大日期、空日期、未来日期、按月/周分布、时间序列缺口。布尔列额外计算真/假/空计数与真值率。
阶段三:关系发现 在单列剖析之后,识别外键候选、层级关系、相关性、派生列与冗余列。
质量评估框架 包括完整性评分(按非空比例分为绿、黄、橙、红四档)、一致性检查(值格式不一致、类型不一致、引用完整性、业务规则违反、跨列一致性)、准确性指标(占位符值、默认值、陈旧数据、不可能的值、整数偏好)、时效性评估。
模式发现技术 包括分布分析(正态、右偏、左偏、双峰、幂律、均匀)、时间模式(趋势、季节性、星期效应、节假日效应、变化点、异常)、细分发现、相关性探索。
模式理解与文档化 提供模式文档模板,包含表描述、粒度、主键、行数、更新频率、负责人、关键列、关系、已知问题、常见查询模式。还提供模式探索查询示例(PostgreSQL 的 information_schema 查询、表大小查询等)以及血缘与依赖关系的追踪方法。
使用方式
该技能以方法论和模板形式提供,用户可按照阶段逐步执行数据探索。当连接到数据仓库时,可使用文中提供的 SQL 查询模式来发现模式。文档模板可用于为团队记录数据集。
适用场景
- 遇到新数据集时
- 评估数据质量时
- 发现数据模式时
- 理解数据库模式时
限制
资料中未提供关于该技能的具体安装命令、收费方式、平台支持或效果保证等信息。