SuperAPI AI 工具集

amee-joshi-data-engineering-portfolio

数据与分析

查看项目

更新于 10-16 07:27

技能介绍

用途:这是一个参考型数据工程作品集,用于展示可扩展云原生数据平台的生产级模式与架构,覆盖数据摄取、转换、建模到分析的全流程,技术栈包括 Azure 服务、Databricks、SQL Server 与 BI 工具。

主要能力:

  1. Medallion 架构(Bronze-Silver-Gold)实现,含 Delta Lake 湖仓模式。
  2. Azure 云数据平台:ADF、ADLS Gen2、Databricks、Synapse Analytics。
  3. 维度建模:星型模型、SCD Type 1 与 Type 2。
  4. 元数据驱动的摄取框架,基于配置动态生成管道。
  5. 增量加载模式,基于 watermark 的 ETL/ELT 管道设计。
  6. 数据质量框架,含空值、重复、引用完整性、值域检查。
  7. Power BI 与 Tableau 报表方案,含 DAX KPI 度量。

代表项目:Azure Databricks 零售湖仓(Bronze 原始摄取、Silver 清洗转换、Gold SCD Type 2 维度);元数据驱动摄取框架(JSON 配置 + ADF 动态管道);SQL Server 星型模型数据仓库(dim_product、dim_customer、fact_sales 及列存储索引);基于 watermark 的增量加载;DataQualityChecker 质量校验类;Power BI DAX 度量(总销售额、同比增长、客户生命周期价值、移动平均、排名)。

使用方式:资料以代码与配置示例为主,涉及 PySpark、Delta Lake、SQL MERGE、ADF 管道 JSON、DAX。具体安装命令、运行步骤与部署方式暂未提供。

适用场景:学习或参考 Azure 数据工程架构、湖仓分层、维度建模与增量加载实现。

限制:资料未说明收费、价格、平台支持范围、性能效果或使用前提;部分内容(如 Bronze 层审计列说明)在资料中未完整给出。