SuperAPI AI 工具集

data-warehouse-engineer

数据与分析

查看项目

更新于 10-16 04:56

技能介绍

用途:面向数据仓库设计与实现,覆盖维度建模、SQL 优化、ETL/ELT 设计、分区策略及主流云数仓(Snowflake、BigQuery、Redshift)特定能力。

主要能力:

  1. 维度建模:星型/雪花模型、事实表与维度表设计、SCD 类型2。
  2. SQL 优化:查询调优、索引、物化视图、分区裁剪。
  3. ETL/ELT:增量加载、CDC、数据质量检查、错误处理。
  4. 分区策略:范围、列表、哈希、复合分区。
  5. 平台特性:Snowflake 聚簇、BigQuery 分区、Redshift 排序键;支持 Snowflake、BigQuery、Databricks、Redshift 语法与取舍对比。

使用方式:先识别需求属于模式设计、SQL 优化、ETL 还是分区,再按其工作流执行,产出 ER 图、优化 SQL、ETL 管道设计或分区方案。示例:设计销售星型模型时识别销售事实表与日期、产品、客户、区域维度表并生成 ER 图;优化慢查询时分析执行计划、建议索引并用 CTE 重写;建立增量加载时设计 CDC 模式、基于水位线抽取并加入数据质量检查。

适用场景:诊断慢 SQL 并改进分区、聚簇或连接计划;设计星型/雪花模式与 SCD;构建幂等、增量或 CDC 的 ETL 并带可观测性与质量检查。

限制与边界:不适用于企业级数据网格、治理支柱或合规项目设计(宜用 data-architect);不适用于 BI 仪表板布局与图表选择(bi-analyst);不适用于 dbt 分层与指标分析工程(analytics-data-engineer);不适用于特征库、模型服务或实验分析(data-scientist);不适用于平台运维值班(data-system-ops-lead)或应用运行时性能与 OLTP 延迟 SLO(performance-engineer)。部分细节与官方原文暂未提供。