用途:在 Microsoft Fabric 上按 Bronze、Silver、Gold 三层模式规划并搭建端到端数据平台,从数据摄取到分析消费。
主要能力:Bronze 层按原始数据落地,追加写入并按摄取日期分区,补充摄取时间戳、来源文件、批次 ID 等元数据;Silver 层做去重、空值处理、范围校验与 schema 规范化,按业务日期分区;Gold 层生成预聚合指标,使用 ZORDER、OPTIMIZE 等读优化,供 Power BI 报表、仪表板与 SQL 端点分析。所有层使用 Delta Lake 格式。
使用方式:优先采用启用 schema 的 lakehouse,在一个工作区与一个 lakehouse 内建 bronze、silver、gold 三个 schema;旧式方案为每层单独工作区与 lakehouse。通过 Livy API 提交 Spark SQL 执行 CREATE SCHEMA、CREATE TABLE 等 DDL。每层创建 notebook,绑定 lakehouse 后按 Bronze→Silver→Gold 顺序执行,最后将 Power BI 连接到 Gold 层。调用 api.fabric.microsoft.com 时须携带 x-ms-fabric-skill: e2e-medallion-architecture 请求头,az rest 用 --headers "x-ms-fabric-skill=e2e-medallion-architecture"。
适用场景:需要审计与可重处理的数据湖仓、运营报表、特征工程、Power BI 分析,以及中高治理要求的多工作区部署。
限制:Fabric Spark 无法直接读取任意 HTTP/HTTPS URL,需先落地到 lakehouse Files/;非 schema lakehouse 需额外配置才能使用 OneLake Spark Catalog、RLS/CLS 与 MLV;MLV 需要启用 schema 的 lakehouse;避免跳过 Silver 层、硬编码工作区或 lakehouse ID、对 Bronze 表无 LIMIT 的 SELECT *。具体收费、价格与平台细节暂未提供。