SuperAPI AI 工具集

data-engineering-patterns-fabric-databricks

数据与分析

查看项目

更新于 10-16 07:27

技能介绍

用途:该技能提供 600+ 数据工程模式与概念,面向 Microsoft Fabric、Azure Databricks 和 PySpark,用于指导湖仓架构、管道设计、Delta Lake 优化、治理与成本架构等实践。

主要能力:内容按 12 本书组织。Microsoft Fabric 约 250 个模式,涵盖管道与 Data Factory、Lakehouse 与 PySpark、Warehouse 与 SQL、Fabric 中的 Power BI、架构模式;Azure Databricks 约 350 个模式,涵盖集群与计算、Delta Lake、工作流与编排、结构化流与 Auto Loader、Unity Catalog、Databricks SQL 与 Photon、平台与成本架构;PySpark 部分含 88 个生产级 Spark 概念,横跨两个平台。

使用方式:克隆仓库获取全部模式 PDF: git clone https://github.com/ssanjaychandra123/data-engineering-patterns.git cd data-engineering-patterns 仓库按 Fabric Patterns、Databricks Patterns、PySpark 三个目录组织 PDF 文件。

适用场景:增量加载、管道重试与错误处理、参数化管道、Delta 表 upsert 与 OPTIMIZE/ZORDER、时间旅行与变更数据流、Auto Loader 模式演进、流式聚合与水印、Unity Catalog 行级安全与列掩码、参数化作业与重试、广播连接、分区与分桶、错误处理与隔离区、性能优化、Medallion 分层架构、SCD Type 2 等。

限制:资料未提供该技能的收费、价格、平台支持范围或效果保证等信息;内容以 PDF 文档形式分发,未说明是否提供交互式执行或自动化能力。