用途:为数据管道实现数据质量校验,结合 Great Expectations、dbt tests 与数据契约,确保数据可靠。适用场景包括在管道中加入质量检查、配置 Great Expectations 校验、构建 dbt 测试套件、建立团队间数据契约、监控质量指标、在 CI/CD 中自动校验。
主要能力:围绕数据质量维度(完整性、唯一性、有效性、准确性、一致性、时效性)设计检查,并采用数据测试金字塔(结构模式测试、单列单元测试、跨表集成测试)。
使用方式:Great Expectations 可先安装并初始化:pip install great_expectations、great_expectations init、great_expectations datasource new;随后创建期望套件、添加期望并运行 checkpoint。dbt 侧可在 schema.yml 中声明 unique、not_null、relationships、accepted_values 等测试,也可编写通用或单例自定义测试。数据契约以 YAML 描述 schema、质量检查与 SLA。
限制:资料未提供具体收费、价格、平台支持范围与效果数据;实际阈值、告警渠道与运行环境需按自身情况配置。