用途:构建生产级数据工程管道,按中位数架构(medallion architecture)组织 Bronze/Silver/Gold 三层,适用于 ETL/ELT、数据湖转换、数据质量校验、增量与批处理以及结构化流。
主要能力:Bronze 层负责原始接入,尽量少转换、追加写入并附加摄取时间戳等元数据,存为 Delta 表,模式可演进;Silver 层做去重、空值处理、类型校验与质量断言,采用严格模式,写入时用 merge(upsert)保证幂等,可执行 OPTIMIZE、ANALYZE TABLE 与 ZORDER BY;Gold 层做连接与聚合,产出面向分析与 KPI 的去规范化数据集。资料还给出用 databricks.yml 定义 variables、targets、resources.jobs 三任务(bronze_ingestion→silver_transformation→gold_aggregation)及调度的示例。
使用方式:资料提到可配合 databricks-unity-catalog 技能创建 bronze/silver/gold schema,用 databricks-testing 技能测试各层逻辑,用 databricks-bundle-deploy 技能打包部署,命令为 databricks bundle validate -t dev 与 databricks bundle deploy -t dev;Notebook 通过 dbutils.widgets 接收 catalog、schema、batch_date 等参数。
限制:资料未提供具体收费、价格、平台支持范围或性能数据;未提供安装命令与版本要求。示例代码与管道为资料中的用法,实际运行前需按自身环境确认集群、目录与权限配置。