用途:为 Databricks 项目提供生产级湖仓参考架构,适用于设计新项目、评审架构或规范团队协作布局。
主要能力:以 Unity Catalog 组织工作区与三级命名空间治理;采用 Medallion(bronze/silver/gold)分层模式;规划计算策略(Job Clusters、SQL Warehouses、Instance Pools);通过 Asset Bundles 与 GitHub Actions 实现 dev/staging/prod 的 CI/CD;提供项目目录结构(src 下 ingestion、transformation、aggregation、ml,以及 tests、resources、databricks.yml)。
使用方式:前置条件为启用 Unity Catalog 的 Databricks 工作区、了解 Medallion 架构、配置 Databricks CLI,并使用 Terraform 或 Asset Bundles。步骤包括:用 CREATE CATALOG/SCHEMA 建立环境隔离的目录与 bronze/silver/gold/ml_features/ml_models 模式,并用 GRANT 区分工程师写入与分析员只读;在 databricks.yml 中定义 bundle、变量与 dev/staging/prod 目标;在 resources/etl_jobs.yml 中定义任务依赖与 job_clusters;用 Auto Loader 写入 bronze 表;用 resources/maintenance.yml 安排每周 OPTIMIZE 与 VACUUM。
适用场景:数据工程团队搭建或评审 Databricks 湖仓平台、统一项目结构与权限模型、建立环境隔离的部署流程。
限制:需已启用 Unity Catalog 并配置 CLI;示例中的集群规格、调度时间、路径与邮箱等均为示例值,实际需按环境调整;具体收费、价格与平台支持范围暂未提供。