用途
Data Quality Frameworks 是一个面向数据工程的数据质量实施技能,用于在生产环境中落地数据质量保障。它围绕 Great Expectations、dbt tests 和数据契约(data contracts)三种手段,帮助团队确保数据管道的可靠性。
主要能力
- 在数据管道中实现数据质量检查。
- 配置 Great Expectations 校验。
- 构建完整的 dbt 测试套件。
- 在团队之间建立数据契约。
- 监控数据质量指标。
- 在 CI/CD 中自动化数据校验。
使用方式
技能给出的实施步骤为:
- 识别关键数据集与质量维度。
- 定义期望/测试与契约规则。
- 在 CI/CD 中自动化校验并安排定时检查。
- 设置告警、责任归属与修复步骤。
如需详细的框架、模板与示例,可打开 resources/implementation-playbook.md。
适用场景
当任务属于以下情况时使用该技能:在管道中实现数据质量检查、设置 Great Expectations 校验、构建 dbt 测试套件、建立团队间数据契约、监控数据质量指标、在 CI/CD 中自动化数据校验。
限制与不适用情况
以下情况不应使用该技能:
- 数据源未定义或不可用。
- 无法修改校验规则或模式(schema)。
- 任务与数据质量或数据契约无关。
此外,该技能仅应在任务明确匹配上述范围时使用;不应将输出视为环境特定校验、测试或专家评审的替代品;如果缺少必要的输入、权限、安全边界或成功标准,应停止并请求澄清。
安全注意事项
- 避免在没有回退方案的情况下阻塞关键管道。
- 在校验输出中安全处理敏感数据。