SuperAPI AI 工具集

data-quality-audit

数据与分析

查看项目

更新于 10-15 09:16

技能介绍

用途

该技能面向数据质量审计场景,对数据集进行系统化质量评估,依据业务规则、模式约束和新鲜度预期给出结论。典型触发场景包括:数据管道刚加载新数据、需要在下游报表消费前完成验证;利益相关方反馈数据质量问题(如总计错误、异常空值、数据陈旧);需要为数据资产产出正式的数据质量评分卡,作为数据治理流程的一部分;接入新数据源时,需要先了解其质量画像再在其上构建。

主要能力

该技能按以下流程执行检查:

  1. 空值与完整性审计——运行 scripts/null_counter.py 生成逐列空值画像,标记超出业务上下文可接受阈值的列。
  2. 重复检测——运行 scripts/duplicate_finder.py 识别整行重复和键级重复,判断重复是有意为之(版本控制)还是错误(管道扇出)。
  3. 引用完整性检查——运行 scripts/referential_integrity.py 验证子表中的外键值是否存在于父表中,按关系报告孤儿记录率。
  4. 值域校验——结合 references/business_rule_patterns.md 中定义的业务规则,运行 scripts/value_range_validator.py,标记超出可接受范围的值。
  5. 新鲜度检查——运行 scripts/freshness_check.py 验证数据集是否最新,将最新记录时间戳与该管道预期的延迟进行比较。
  6. 评分与分类——使用 references/quality_dimensions.md 将每项发现映射到质量维度,并分配严重程度(CRITICAL / HIGH / MEDIUM / LOW)。
  7. 产出交付物——填写 assets/audit_report_template.html 生成可分享报告;填写 assets/quality_rubric.md 生成简明评分卡。

使用方式

该技能需要以下输入:

必需:数据集(CSV / Parquet / 数据库表引用)。

必需:模式关系——哪些列是主键,哪些列是指向哪些表的外键。

必需:业务规则——可接受的值范围、预期值集合、新鲜度 SLA。

可选:可接受的错误率——失败达到什么阈值时从 HIGH 升级为 CRITICAL。

可选:管道调度——用于结合预期更新频率评估新鲜度。

输出包括:填写后的 assets/audit_report_template.html(完整质量报告,可与利益相关方分享);填写后的 assets/quality_rubric.md(一页式质量评分卡,含各维度得分);各校验脚本的控制台输出(每项检查的通过/失败计数)。

适用场景

适用于数据管道加载后的验证、数据质量问题的排查与归因、数据治理中的正式评分卡制作,以及新数据源接入前的质量画像分析。

限制

该技能依赖用户提供数据集、模式关系、业务规则等输入;若缺少这些信息,相关检查无法执行。具体阈值、错误率标准、新鲜度 SLA 等需由用户按业务上下文提供,技能本身不预设。