SuperAPI AI 工具集

data-quality-frameworks

数据与分析

查看项目

更新于 10-16 07:22

技能介绍

用途:在数据管道中落地数据质量校验,覆盖 Great Expectations、dbt 测试和数据契约三种生产模式,确保数据可靠。

主要能力:围绕数据质量维度设计检查,包括完整性(非空)、唯一性(去重)、有效性(取值集合)、准确性(交叉引用)、一致性(列间比较)、及时性(时间范围)。提供数据测试金字塔思路:结构模式测试、单列单元测试、跨表集成测试。

使用方式:安装并初始化 Great Expectations:pip install great_expectations、great_expectations init、great_expectations datasource new。通过 gx.get_context() 获取上下文,用 add_expectation_suite 创建期望套件,添加如 ExpectColumnValuesToNotBeNull、ExpectColumnValuesToBeUnique 等期望,再用 run_checkpoint 执行校验。可封装 DataQualityPipeline,对多张表批量运行并生成报告,任一表失败即抛出异常中断管道。

适用场景:数据管道质量检查、dbt 测试套件、团队间数据契约、质量指标监控、CI/CD 自动化校验。

最佳实践:尽早校验源数据、增量添加测试、为测试写清描述、失败时告警、对契约做版本管理;避免测试所有列、忽略警告、跳过新鲜度检查、硬编码阈值、孤立测试而不测表间关系。

限制:资料未提供具体收费、价格、平台支持范围及完整实现细节,详细模式见 references/details.md。