SuperAPI AI 工具集

data-quality-frameworks

数据与分析

查看项目

更新于 10-16 05:47

技能介绍

用途:为数据管道实现生产级数据质量校验,结合 Great Expectations、dbt tests 与数据契约,保障数据可靠。适用场景包括在管道中加入质量检查、搭建 Great Expectations 校验、构建 dbt 测试套件、建立团队间数据契约、监控质量指标、在 CI/CD 中自动校验。

主要能力:围绕六个质量维度——完整性(非空)、唯一性(去重)、有效性(取值集合)、准确性(交叉引用)、一致性(列间关系)、及时性(新鲜度)。测试金字塔分为结构测试、单列单元测试与跨表集成测试。

使用方式:Great Expectations 安装与初始化命令为 pip install great_expectations、great_expectations init、great_expectations datasource new;可创建 expectation suite、添加期望并运行 checkpoint。dbt 侧在 schema.yml 中配置 unique、not_null、relationships、accepted_values 等测试,并可用 dbt_utils 的 recency、at_least_one、expression_is_true,以及自定义 generic 与 singular 测试。数据契约以 YAML 描述 schema、质量检查(SodaCL)与 SLA。还提供自动化质量管道示例,汇总各表校验结果并生成报告,失败时抛出异常。

限制与注意:资料未提供具体版本兼容性、性能数据或收费信息。建议尽早测试源数据、增量添加测试、记录期望、失败告警、对契约做版本管理;避免测试一切、忽略警告、跳过新鲜度、硬编码阈值或只做孤立测试。