SuperAPI AI 工具集

data-engineering

数据与分析

查看项目

更新于 10-15 23:24

技能介绍

用途:为数据工程任务提供可复用的代码模式与规范,覆盖 ETL 管道、数据仓库建模、Apache Spark 处理和数据质量校验。

主要能力:

  1. ETL 管道模式:以 dataclass 定义 PipelineResult,用 OrderPipeline 类实现 extract/transform/load/run 四阶段,含增量抽取(按 updated_at 水位)、字段转换、批量 upsert(conflict_keys 与 batch_size)。
  2. Spark 处理:用 SparkSession 读取 Parquet,开启 spark.sql.adaptive.enabled,设置 spark.sql.shuffle.partitions;示例按日期与品类聚合收入、订单数、客单价,并用窗口函数计算 7 日滚动均值,最后按 order_date 分区写出。
  3. 数据质量检查:用 QualityCheck dataclass 定义名称、SQL、阈值与严重级别,示例含空值、负金额、重复订单、新鲜度检查;critical 未通过时抛出 DataQualityError。
  4. 数据仓库模式:给出星型模式建表语句,含 dim_customers(含 valid_from/valid_to/is_current 缓慢变化维)、dim_products 与 fact_orders(外键、金额、loaded_at)。
  5. 反模式与清单:列出逐行处理、未分区、缺少质量检查、原始数据直接入库、全表扫描、缺少数据血缘等反模式,并给出幂等加载、增量处理、新鲜度告警、模式演进等检查项。

使用方式:资料未提供安装命令或调用方式,仅以代码示例形式呈现,需自行将模式应用到具体项目。

适用场景:构建订单等业务 ETL、搭建星型数仓、编写 Spark 批处理作业、为管道添加质量门禁。

限制:示例使用 Python、PySpark 与 SQL,依赖具体数据库与存储(如 S3);未提供运行环境、依赖版本、性能基准或收费信息。