SuperAPI AI 工具集

silver-layer-setup

数据与分析

查看项目

更新于 10-15 20:33

技能介绍

用途:在 Databricks 上从零编排创建生产级 Silver 层管道,基于 Spark Declarative Pipelines(SDP,原 DLT/LDP),把数据质量规则集中存放在 Delta 表中,并生成隔离区、流式接入与监控视图。

主要能力:创建 dq_rules 规则表(Unity Catalog)、纯 Python 规则加载模块 dq_rules_loader.py、带期望规则的 silver_*.py 笔记本、Serverless SDP 管道配置 silver_pipeline.yml,以及按表指标与引用完整性检查的 DQ 监控视图。核心思路是“模式克隆”:Silver 尽量沿用 Bronze 的列名、类型与粒度,只增加质量规则、派生标志、业务键和 processed_timestamp,不做聚合或复杂业务逻辑。

使用方式:按阶段执行,先读对应 common 技能再生成代码。阶段包括需求与 Schema 设置、DQ 规则表、规则加载模块、DLT 笔记本、监控视图、管道与作业配置。部署需用户触发,顺序为:databricks bundle deploy -t dev;databricks bundle run silver_dq_setup_job -t dev;确认 dq_rules 表存在后,再执行 databricks pipelines start-update --pipeline-name "[dev] Silver Layer Pipeline"。

限制与注意:必须使用旧版 import dlt API,因为 @dlt.expect_all_or_drop() 等装饰器尚未在 dp API 提供;dq_rules_loader.py 必须是纯 Python,不能带笔记本头;管道须设 serverless: true、edition: ADVANCED、photon: true,每张表须启用 Change Data Feed 与 Row Tracking 并使用 cluster_by_auto=True;必须先运行 DQ 设置作业再部署 DLT 管道。异常检测为可选、用户触发。初始设置约 3-4 小时,每增加一张表约 1 小时。