SuperAPI AI 工具集

data-cleaning

数据与分析

查看项目

更新于 10-22 20:43

技能介绍

用途

该技能面向数据清洗场景:用户提供脏数据(如系统导出表、多源合并表、手工录入表),技能负责产出清洗后的标准表,以及能解释每一处改动的清洗日志,最终以 Excel 工作簿交付。

主要能力

  • 健康检查:先检查字段含义、行数、各列空值率、混合类型(数字列混文本、多种日期格式)、明显重复、单位与代码不一致、首尾空格、全角/半角字符等问题,并列出发现。
  • 下游用途确认:询问数据将用于系统导入、分析还是邮寄等,用途决定标准格式;若目标系统有字段规范,则按规范执行。
  • 规则制定与确认:按问题类别逐条设定规则,包括空值处理(删除/填默认值/保留并标记)、去重键(哪几列组合视为同一记录,冲突时保留最新/最完整/第一条)、日期与数字格式、文本规范化(大小写、全/半角、去空格、别名统一如“北京市”与“北京”)、代码映射表。规则需先发给用户确认,涉及删除的操作必须确认后才执行。
  • 执行清洗:原始数据保持不动,在新表中按规则处理;尽量使用公式(如 TRIM / CLEAN / DATEVALUE / VLOOKUP 映射)以便核查;每条被修改或删除的记录都进入日志。
  • 输出工作簿:生成并交付标题为“ Cleaning Result”的 Excel 工作簿。
  • 交付后汇总:说明原始行数 → 删除/合并/修改数量 → 最终行数,并列出仍无法自动判定、需要人工查看的行号。

工作簿结构

  • Raw data:用户提供的原始表格。
  • Cleaned:标准化结果,统一表头名称、每列单一类型、ISO 日期、数字列右对齐。
  • Cleaning rules:字段 / 问题 / 规则 / 影响行数。
  • Cleaning log:原始行 / 字段 / 旧值 / 新值 / 规则编号 / 操作(修改 / 删除 / 合并)。
  • Suspected duplicates:判定为重复的分组,并标出保留的记录,供用户复核。

合并多个表时,Cleaned 保留来源表列以便追溯。

使用方式

用户提供脏数据并说明下游用途;技能先做健康检查并列出发现,再提出清洗规则供确认;确认后在新表中执行清洗,生成上述五个工作表的工作簿,并在回复中给出行数汇总和需人工判断的清单。

适用场景

系统导出数据、多源合并表、手工录入表的标准化与去重,以及需要可追溯清洗过程的数据整理任务。

限制与约束

  • 不静默删除数据;每次删除和合并都必须能通过日志追溯到原始行。
  • 仅在已确认的去重键上执行去重;名称相似但键不同的记录放入“Suspected duplicates”由用户决定,不自行合并。
  • 身份证号、电话号码、电子邮箱仅做格式检查和标准化,不推断、不补全;涉及个人数据的表会提醒用户注意分发范围。
  • 数字单位不一致时,先询问换算依据,不假设单位;换算系数写入规则表。
  • 合并表时先对齐字段名和类型;同名但含义不同的字段会重命名。
  • 疑似拼写错误的地名或公司名,仅在映射表支持时才修改,否则标记“疑似”并保留。

输出

一个 Excel 工作簿,含 Raw data / Cleaned / Cleaning rules / Cleaning log / Suspected duplicates 五个工作表;回复中只包含行数汇总和需人工判断的清单。