SuperAPI AI 工具集

data-quality-checks

数据与分析

查看项目

更新于 10-16 01:18

技能介绍

用途:为指定的表或数据管道设计数据质量检查,避免坏数据悄悄污染仪表盘和模型。技能会按标准数据质量维度逐项给出规则、严重级别与运行位置,使质量被强制执行而非寄希望于运气。

主要能力:覆盖完整性(必填字段非空)、唯一性(粒度键唯一)、有效性(取值在允许集合或范围内)、新鲜度(数据在 SLA 内)、一致性(跨字段或跨表,如总量对账、外键存在)、准确性(与权威数据源对账)。每项检查标明严重级别:🔴 阻断管道、🟡 警告,并说明实现方式,如 dbt test、Great Expectations、Soda 或原生 SQL 断言。

必要输入:表或管道及其含义(粒度、关键列);重要列(键、必填字段、枚举、范围、日期);新鲜度期望;所用工具。若未提供需先询问。

使用方式:输出按维度组织的检查清单,每项含规则、严重级别与运行位置,并说明在摄入、模型内还是构建后执行,以及失败时的处理(中止、隔离行、告警后继续)和通知对象。

限制与注意:严重级别需克制,只对真正关键项(如粒度键重复、关键数据过期)阻断,过度阻断会导致告警疲劳;新鲜度需有可度量 SLA;每项检查须有失败动作;不能只测正常路径,也不能只孤立检查单表,跨表一致性才能发现集成缺陷。具体命令与配置细节资料未提供。