SuperAPI AI 工具集

bronze-layer-setup

数据与分析

查看项目

更新于 10-15 20:32

技能介绍

用途:为 Medallion 架构的原型开发快速创建 Bronze 层表与测试/演示数据,便于后续 Silver/Gold 层开发。适合新项目搭建、造演示数据、从既有源复制到新 Bronze schema。

主要能力:依据 context 下的 schema CSV 生成同结构 DDL(不硬编码表名与类型);用 Faker 生成维度与事实数据(先维度后事实以保持外键完整性,可设种子复现);或直接读取已有表、从外部复制;配置 Asset Bundle 作业。所有表统一使用 CLUSTER BY AUTO,开启 Change Data Feed、autoOptimize 写入与压缩,并写入 layer、source_system、domain、contains_pii、data_classification、owner、data_purpose=testing_demo、is_production=false 等治理属性。维表命名 bronze_{entity}dim,事实表 bronze{entity},日期维用 SQL 生成。作业统一使用 Serverless(environment_key)、Environments V4、notebook_task+base_parameters。

使用方式:先填 requirements 模板并选定数据源方案,再建 DDL、生成数据、配置作业。部署为用户显式触发,命令保持原样:databricks bundle deploy -t dev;databricks bundle run bronze_setup_job -t dev;databricks bundle run bronze_data_generator_job -t dev。

限制:明确不用于生产摄入,生产需另建摄入管线。资料未提供具体收费、价格、平台可用性或性能数据。