用途:面向使用 dbt(data build tool)进行分析工程与数据转换的场景,提供可落地的项目组织、测试、文档和增量处理模式。主要能力:1)模型分层(Medallion 架构),即 sources 原始数据定义→staging 与来源 1:1 轻度清洗→intermediate 业务逻辑、连接与聚合→marts 最终分析表;2)命名约定,staging 用 stg_ 前缀(如 stg_stripe__payments),intermediate 用 int_ 前缀,marts 用 dim_、fct_ 前缀;3)项目结构与 dbt_project.yml 配置,可设置 model-paths、analysis-paths、test-paths、seed-paths、macro-paths 及 vars(如 start_date),并按 staging/intermediate/marts 分别指定物化方式(view、ephemeral、table)与 schema;4)数据质量测试(非空、唯一、关系等)、文档与血缘说明、增量模型策略;5)详细模式与示例文档位于 references/details.md。使用方式:按分层目录组织模型,遵循前缀命名,在 dbt_project.yml 中配置各层物化与变量,使用 {{ var('start_date') }} 等变量而非硬编码日期,将项目纳入 Git 版本控制。最佳实践包括:始终使用 staging 层;积极测试;为列和模型写文档;对大表使用增量;监控源数据新鲜度;避免跳过 staging、硬编码日期、重复逻辑、在生产环境测试、忽略新鲜度。适用场景:构建 dbt 数据转换管道、分层组织模型、实施数据质量测试、为超过 100 万行的表创建增量模型、记录数据模型与血缘、搭建 dbt 项目结构。限制:资料未提供具体安装步骤、收费信息、兼容平台版本及运行环境要求。
dbt-transformation-patterns
通用与其它
更新于 10-16 07:22