用途:在数据栈中设计并实现数据转换,把原始数据加工为干净、可测试、有文档的分析数据集。
主要能力:提供 ETL 与 ELT 的选择框架(默认推荐 ELT + dbt,合规或性能受限时用 ETL,也可混合);dbt 分层建模(staging、intermediate、marts)与物化方式(view、table、incremental、ephemeral)、增量加载与 unique_key;pandas、polars、PySpark 的转换写法与选型(小于 500MB 用 pandas,500MB–100GB 用 polars,超过 100GB 用 PySpark);Airflow、Dagster、Prefect 的编排选型与依赖模式(线性、扇出、扇入);dbt 测试与 Great Expectations 数据质量校验;窗口函数等高级 SQL;幂等、错误处理与监控等生产实践。
使用方式:按资料给出的示例配置 dbt 增量模型、用 polars 的 scan_csv 与 collect 执行惰性查询、用 Airflow DAG 定义任务依赖。安装命令保持原样:pip install dbt-core dbt-snowflake、pip install polars、pip install apache-airflow。
适用场景:构建 dbt 模型、增量加载与合并策略、pandas 迁移到 polars、编排带依赖与重试的管道、添加数据质量测试、用 PySpark 处理大数据集。
限制:资料未提供具体收费、价格、平台支持范围与效果数据;部分内容为土耳其语工作流说明,未给出完整细节。