SuperAPI AI 工具集

data-preparation

数据与分析

查看项目

更新于 10-15 21:40

技能介绍

用途:在数据摄取之后、图表选择之前,把原始数据整理为可视化就绪状态。它本身不做分析或可视化。

适用时机:数据存在空值、重复或类型不一致;需要聚合、透视或重塑以匹配目标图表;简报提出质量要求;或不确定数据是否已可视化就绪。若数据已干净、类型正确且形状合适,或数据集很小可人工核验,可跳过,但需说明跳过原因。

主要步骤:

  1. 剖析:逐列检查行数、列类型、空值数量与占比、唯一值基数、数值最小/最大/均值及样本值,并以表格形式报告。
  2. 清洗:按顺序处理重复值(精确重复删除并记录,近似重复标记待定)、空值(删除行、默认值、中位数/众数填充或保留,均需说明策略与影响数量)、类型转换(日期、数字、布尔字符串解析,混合类型标记)、异常值(数据错误可删除或修正,真实极端值保留并提示,不确定则标记)。
  3. 转换:按图表需要聚合(如按月汇总)、透视或逆透视(多数可视化偏好长格式)、按简报要求添加计算列(如利润率、增长率、占比),并明确粒度变化。
  4. 质量门:断言关键列无空值、行数合理、类型正确、粒度正确;任一失败则向编排器反馈具体信息。

输出:清洗转换后的数据集或引用、一段数据剖析摘要、所做决策清单。

限制:不得静默清洗或删除真实数据;不得添加简报未要求的计算列;跳过剖析需说明理由。与 data-analysis、data-quality-monitoring、data-visualization 等模块配合使用。