用途:该技能提供 600+ 数据工程模式与概念,面向 Microsoft Fabric、Azure Databricks 和 PySpark,用于指导湖仓架构、管道设计、Delta Lake 优化、治理与成本架构等实践。
主要能力:内容按 12 本书组织。Microsoft Fabric 约 250 个模式,涵盖管道与 Data Factory、Lakehouse 与 PySpark、Warehouse 与 SQL、Fabric 中的 Power BI、架构模式;Azure Databricks 约 350 个模式,涵盖集群与计算、Delta Lake、工作流与编排、结构化流与 Auto Loader、Unity Catalog、Databricks SQL 与 Photon、平台与成本架构;PySpark 部分含 88 个生产级 Spark 概念,横跨两个平台。
使用方式:克隆仓库获取全部模式 PDF: git clone https://github.com/ssanjaychandra123/data-engineering-patterns.git cd data-engineering-patterns 仓库按 Fabric Patterns、Databricks Patterns、PySpark 三个目录组织 PDF 文件。
适用场景:增量加载、管道重试与错误处理、参数化管道、Delta 表 upsert 与 OPTIMIZE/ZORDER、时间旅行与变更数据流、Auto Loader 模式演进、流式聚合与水印、Unity Catalog 行级安全与列掩码、参数化作业与重试、广播连接、分区与分桶、错误处理与隔离区、性能优化、Medallion 分层架构、SCD Type 2 等。
限制:资料未提供该技能的收费、价格、平台支持范围或效果保证等信息;内容以 PDF 文档形式分发,未说明是否提供交互式执行或自动化能力。