SuperAPI AI 工具集

data-quality

数据与分析

查看项目

更新于 10-26 16:22

技能介绍

数据质量技能用于确保数据在管道与系统间流动时保持准确、完整、一致、及时与可信。该技能的核心主张是:如果没有显式的质量校验关口,坏数据会静默扩散,污染看板、训练出有缺陷的模型并破坏下游消费方。

一、用途与触发场景 当用户需要为数据管道(采集、转换或服务环节)增加数据验证或模式约束、编写 Great Expectations 期望套件或检查点、定义生产者团队与消费者团队之间的数据契约、实现数据血缘追踪或影响分析、搭建数据质量监控看板与新鲜度或行数告警、排查数据质量事件(缺失列、空值激增、模式漂移)、剖析新数据集以了解分布与异常,或构建基于行数、新鲜度、分布的质量检查时,使用该技能。不适用于不涉及质量重点的一般 ETL/ELT 管道编排,也不适用于不涉及质量的数据建模或数仓设计决策。

二、核心原则

  1. 在边界校验而非中间校验:在数据进入数仓前(采集)和消费方读取前(服务)强制质量;管道中途校验既太晚无法阻止下游损害,又太早无法发现转换缺陷。
  2. 数据契约即数据的 API:数据契约是生产者与消费者就模式、语义、SLA 与归属达成的正式约定,应像版本化 API 一样对待,破坏性变更需要迁移路径。
  3. 像测试代码一样测试数据:每张表都应有在每次管道执行时运行的期望,空值约束、唯一性、取值范围、引用完整性与新鲜度是数据工程的单元测试。
  4. 血缘支撑影响分析:不了解谁读取谁就无法评估模式变更的影响范围,应采集查询级(乃至列级)血缘。
  5. 监控趋势而非只看阈值:静态阈值会漏掉渐进漂移,应使用 z 分数、移动平均等统计异常检测。

三、核心概念 五维度:准确性(通过对照真实来源与抽样检查衡量)、完整性(空值率、行数与预期对比)、一致性(跨表引用完整性检查、重复检测)、及时性(距上次成功加载的时间,即新鲜度 SLA)、唯一性(主键唯一性检查与去重审计)。 数据契约:定义模式(列名、类型、约束)、语义(如“收入”是毛利还是净额)、SLA(新鲜度、数据量边界)与归属(出问题找谁),作为与代码一同存放的版本化产物,而非会腐坏的 wiki 页面;生产者拥有契约,不经版本升级不得发布破坏性变更。 数据血缘:以数据集为节点、转换为边的有向无环图,列级血缘追踪输出列来自哪些输入列;OpenLineage、DataHub 与 dbt 内置血缘可在集成编排器后自动提供。 Great Expectations:开源数据测试框架,核心抽象包括数据源、期望套件、校验器与检查点;期望是声明式的,并产生可读的校验结果。

四、常见任务与使用方式

  1. 编写 Great Expectations 套件:连接数据源、创建表资产与批次定义,然后添加期望,如 order_id 非空且唯一、total_amount 在 0 到 1,000,000 之间、status 属于 pending/completed/cancelled/refunded、表行数在 1000 到 10,000,000 之间。建议先在主键上添加非空与唯一性期望,再加入业务逻辑期望。
  2. 在管道中运行检查点:定义检查点并配置动作(如更新数据文档),在 Airflow 任务、dbt post-hook 或独立脚本中运行;失败时抛出错误提示失败校验数量。
  3. 定义数据契约:以 YAML 描述契约元数据(名称、版本、拥有者、消费者)、表与列约束、允许值、SLA(新鲜度 1 小时、每日行数上下限、可用性 99.9%)以及破坏性变更通知策略。新增可空列属非破坏性变更;删除或重命名列、变更类型、收紧约束属破坏性变更。
  4. 实现新鲜度与数据量监控:用 SQL 检查 orders 表最近 2 小时是否有数据,并以 7 日滚动均值和标准差计算今日行数的 z 分数,低于 -2 时告警。
  5. 用 OpenLineage 追踪血缘:在变换开始时发送 START 事件、完成后发送 COMPLETE 事件,携带输入与输出数据集及模式 facet;Airflow、Spark、dbt 有原生集成时优先使用内置集成。
  6. 剖析新数据集:使用 Great Expectations 的 onboarding 剖析器基于数据自动生成期望,把结果作为起点,结合领域知识审查并收紧后再投入生产。

五、常见反模式与注意事项 仅在数仓内校验会让坏数据先行到达消费方,应在采集边界校验;静态数据量阈值会因季节性产生告警疲劳,应使用 z 分数或滚动均值;契约无归属会腐坏,每份契约应指明生产团队与沟通渠道;只测列类型不测语义会漏掉负数收入或错误币种;简单管道也应从第一天起采集血缘,事后补装成本高得多;仅在生产跑检查点还不够,CI 测试数据与生产数据分布不同,应在每次生产管道执行时运行检查点。 其他注意点:剖析器自动生成的期望若基于已含质量问题的数据,会把异常模式固化为可接受标准,必须人工审查;仓库中无人读取的 YAML 契约只是文档而非契约,需由 CI 检查或管道关口强制执行;表级血缘无法给出列级影响范围,应从一开始采集列级血缘。

六、限制 资料中的示例依赖 Great Expectations、OpenLineage 等具体工具与 Postgres、Airflow、dbt 等环境,实际使用需自行配置连接与编排集成。关于该技能的安装方式、运行平台、收费与价格信息,资料未提供。