用途
该技能面向数据质量审计场景,对数据集进行系统化质量评估,依据业务规则、模式约束和新鲜度预期给出结论。典型触发场景包括:数据管道刚加载新数据、需要在下游报表消费前完成验证;利益相关方反馈数据质量问题(如总计错误、异常空值、数据陈旧);需要为数据资产产出正式的数据质量评分卡,作为数据治理流程的一部分;接入新数据源时,需要先了解其质量画像再在其上构建。
主要能力
该技能按以下流程执行检查:
- 空值与完整性审计——运行 scripts/null_counter.py 生成逐列空值画像,标记超出业务上下文可接受阈值的列。
- 重复检测——运行 scripts/duplicate_finder.py 识别整行重复和键级重复,判断重复是有意为之(版本控制)还是错误(管道扇出)。
- 引用完整性检查——运行 scripts/referential_integrity.py 验证子表中的外键值是否存在于父表中,按关系报告孤儿记录率。
- 值域校验——结合 references/business_rule_patterns.md 中定义的业务规则,运行 scripts/value_range_validator.py,标记超出可接受范围的值。
- 新鲜度检查——运行 scripts/freshness_check.py 验证数据集是否最新,将最新记录时间戳与该管道预期的延迟进行比较。
- 评分与分类——使用 references/quality_dimensions.md 将每项发现映射到质量维度,并分配严重程度(CRITICAL / HIGH / MEDIUM / LOW)。
- 产出交付物——填写 assets/audit_report_template.html 生成可分享报告;填写 assets/quality_rubric.md 生成简明评分卡。
使用方式
该技能需要以下输入:
必需:数据集(CSV / Parquet / 数据库表引用)。
必需:模式关系——哪些列是主键,哪些列是指向哪些表的外键。
必需:业务规则——可接受的值范围、预期值集合、新鲜度 SLA。
可选:可接受的错误率——失败达到什么阈值时从 HIGH 升级为 CRITICAL。
可选:管道调度——用于结合预期更新频率评估新鲜度。
输出包括:填写后的 assets/audit_report_template.html(完整质量报告,可与利益相关方分享);填写后的 assets/quality_rubric.md(一页式质量评分卡,含各维度得分);各校验脚本的控制台输出(每项检查的通过/失败计数)。
适用场景
适用于数据管道加载后的验证、数据质量问题的排查与归因、数据治理中的正式评分卡制作,以及新数据源接入前的质量画像分析。
限制
该技能依赖用户提供数据集、模式关系、业务规则等输入;若缺少这些信息,相关检查无法执行。具体阈值、错误率标准、新鲜度 SLA 等需由用户按业务上下文提供,技能本身不预设。