SuperAPI AI 工具集

data-quality

数据与分析

查看项目

更新于 10-16 00:03

技能介绍

用途:在数据管道中建立数据质量保障,包括入库与出库边界的模式校验、基于期望的测试、生产者与消费者之间的数据契约、用于影响分析的血缘追踪,以及持续异常监控。适用于添加校验、编写 Great Expectations 套件与检查点、定义数据契约、实现血缘与影响分析、配置新鲜度与量级告警、排查质量事故、剖析新数据集等;不适用于通用 ETL/ELT 编排或无质量关注的数据建模。

主要能力:五维质量度量;数据契约(模式、语义、SLA、归属与版本管理);OpenLineage、DataHub、dbt 血缘;Great Expectations 的 Data Source、Expectation Suite、Validator、Checkpoint 抽象。

必要用法:先用 not-null 和唯一性期望覆盖主键,再加业务逻辑期望;将检查点接入编排器在每次加载运行;契约以 YAML 管理并在变更时升版本;用 OpenLineage 发出 START/COMPLETE 事件,优先使用 Airflow、Spark、dbt 内置集成;用剖析器生成期望后需人工审查收紧;新鲜度与量级监控建议用滚动基线的 z-score 而非静态阈值。

限制与注意:避免只在仓库内校验、静态阈值、无归属契约、只测类型不测语义、跳过血缘、仅 CI 运行检查点。契约需有 CI 或管道门禁执行才有效;表级血缘不足以判断列级影响。详细子领域内容见 references 文件夹,仅在需要时加载。其余信息暂未提供。