SuperAPI AI 工具集

data-quality-frameworks

数据与分析

查看项目

更新于 10-15 09:21

技能介绍

用途

Data Quality Frameworks 是一个面向数据工程的数据质量实施技能,用于在生产环境中落地数据质量保障。它围绕 Great Expectations、dbt tests 和数据契约(data contracts)三种手段,帮助团队确保数据管道的可靠性。

主要能力

  • 在数据管道中实现数据质量检查。
  • 配置 Great Expectations 校验。
  • 构建完整的 dbt 测试套件。
  • 在团队之间建立数据契约。
  • 监控数据质量指标。
  • 在 CI/CD 中自动化数据校验。

使用方式

技能给出的实施步骤为:

  1. 识别关键数据集与质量维度。
  2. 定义期望/测试与契约规则。
  3. 在 CI/CD 中自动化校验并安排定时检查。
  4. 设置告警、责任归属与修复步骤。

如需详细的框架、模板与示例,可打开 resources/implementation-playbook.md。

适用场景

当任务属于以下情况时使用该技能:在管道中实现数据质量检查、设置 Great Expectations 校验、构建 dbt 测试套件、建立团队间数据契约、监控数据质量指标、在 CI/CD 中自动化数据校验。

限制与不适用情况

以下情况不应使用该技能:

  • 数据源未定义或不可用。
  • 无法修改校验规则或模式(schema)。
  • 任务与数据质量或数据契约无关。

此外,该技能仅应在任务明确匹配上述范围时使用;不应将输出视为环境特定校验、测试或专家评审的替代品;如果缺少必要的输入、权限、安全边界或成功标准,应停止并请求澄清。

安全注意事项

  • 避免在没有回退方案的情况下阻塞关键管道。
  • 在校验输出中安全处理敏感数据。