用途:构建可扩展的数据管道与分析基础设施,覆盖 ETL/ELT 管道设计、数据仓库建模、流式数据处理和数据质量监控等场景。
主要能力:提供 Airflow DAG 编排示例(含重试、失败邮件、每日调度、extract→transform→load→validate 依赖链);数据仓库星型模型示例(事实表 fact_sales 与 dim_date、dim_product、dim_customer 维度表,含 SCD Type 2 字段);PySpark 作业示例(读取 Parquet、分组聚合、repartition 与按 date 分区写出);以及基于 Great Expectations 的数据质量期望示例(非空、取值范围、唯一性)。
使用方式:资料未提供安装命令或调用方式,仅给出代码示例。可按示例定义 DAG、建表 SQL、Spark 作业与质量期望套件。
最佳实践:幂等操作(可重复运行)、增量处理优先于全量刷新、数据血缘追踪、模式演进处理、云服务成本监控。
示例:输入“为用户事件设计 ETL”,动作是创建含抽取/转换/加载的 Airflow DAG 并加入质量检查;输入“优化慢 Spark 作业”,动作是检查分区、减少 shuffle、调整内存设置。
限制:资料未说明支持的平台、版本、收费或价格,也未提供完整安装与部署步骤。