SuperAPI AI 工具集

gold-layer-setup

通用与其它

查看项目

更新于 10-15 20:33

技能介绍

用途:该技能编排 Gold 层实现的完整流程,把已完成的 YAML 模式设计转化为生产可用的 Delta 表、MERGE 脚本、外键约束和 Asset Bundle 作业,是 gold/00-gold-layer-design 技能的后续步骤。

主要能力:按阶段推进——阶段0校验上游列名与类型契约;阶段1由 YAML 动态生成建表 DDL 并创建外键约束;阶段1b 可选处理角色扮演维度视图与未知成员行;阶段2编写 Silver 到 Gold 的 MERGE 脚本(维度 SCD1/2、事实聚合、去重、粒度与模式校验);阶段3配置 Asset Bundle 作业。默认强制使用 Serverless 环境、environment_version "4"、CLUSTER BY AUTO、Change Data Feed、Row Tracking 和 notebook_task。

使用方式:需先完成设计技能,确保 gold_layer_design/yaml/{domain}/*.yaml、ERD 与 COLUMN_LINEAGE.csv 存在。部署命令为 databricks bundle deploy -t dev、databricks bundle run gold_setup_job -t dev、databricks bundle run gold_merge_job -t dev,由用户手动触发。

适用场景:从 YAML 设计实现 Gold 表、编写 Silver 到 Gold MERGE、应用外键约束、配置 Gold 部署作业及排查重复键、模式不匹配、粒度违规等问题。

限制:所有表名、列名、主外键、业务键、粒度、SCD 类型、源表与列映射必须从 YAML 或 COLUMN_LINEAGE.csv 提取,不得猜测或硬编码;仅聚合表达式与派生列公式可手写。资料未提供具体收费、价格与平台支持范围。