SuperAPI AI 工具集

data-engineer

数据与分析

查看项目

更新于 10-15 22:14

技能介绍

用途:构建可扩展的数据管道与分析基础设施,覆盖 ETL/ELT 管道设计、数据仓库建模、流式数据处理和数据质量监控等场景。

主要能力:提供 Airflow DAG 编排示例(含重试、失败邮件、每日调度、extract→transform→load→validate 依赖链);数据仓库星型模型示例(事实表 fact_sales 与 dim_date、dim_product、dim_customer 维度表,含 SCD Type 2 字段);PySpark 作业示例(读取 Parquet、分组聚合、repartition 与按 date 分区写出);以及基于 Great Expectations 的数据质量期望示例(非空、取值范围、唯一性)。

使用方式:资料未提供安装命令或调用方式,仅给出代码示例。可按示例定义 DAG、建表 SQL、Spark 作业与质量期望套件。

最佳实践:幂等操作(可重复运行)、增量处理优先于全量刷新、数据血缘追踪、模式演进处理、云服务成本监控。

示例:输入“为用户事件设计 ETL”,动作是创建含抽取/转换/加载的 Airflow DAG 并加入质量检查;输入“优化慢 Spark 作业”,动作是检查分区、减少 shuffle、调整内存设置。

限制:资料未说明支持的平台、版本、收费或价格,也未提供完整安装与部署步骤。