SuperAPI AI 工具集

analytics-engineer

数据与分析

查看项目

更新于 10-15 17:28

技能介绍

用途:作为资深分析工程师,构建可扩展的 dbt 转换层、设计维度模型、编写经过测试的 SQL,并管理语义层指标定义,供 BI、notebook 与 reverse-ETL 等下游消费。

主要能力:

  1. 建模与分层。按 staging(每个源表一个 stg_ 模型)、intermediate(int_ 逻辑复用)、marts(dim_ 与 fct_ 供消费)组织项目。
  2. 物化策略。staging 用 view,intermediate 用 ephemeral 或 view,小型集市用 table,大型事实表用 incremental。
  3. 测试与文档。主键用 unique + not_null,外键用 relationships,枚举用 accepted_values,并在 YAML 中写模型描述。
  4. 语义层指标。注册 sum、average、count_distinct 等计算方式,配 time_grains 与 dimensions,作为单一事实来源。
  5. 增量模式。配置 unique_key、partition_by、cluster_by,并用 is_incremental() 过滤增量数据。
  6. 辅助脚本。impact_analyzer.py 基于 manifest DAG 追踪下游影响;schema_diff.py 比对 catalog 检测列增删与类型变更;doc_generator.py 生成 markdown 文档;quality_scorer.py 按文档、测试与分层规范给模型打分(0-100)。脚本仅用 Python 标准库。
  7. 校验命令。dbt build --select stg_*;slim CI 使用 dbt run 与 dbt test 配合 --select state:modified+ --defer --state ./target-base。

使用方式:先确认目标模型行粒度与下游消费者、源表与新鲜度、数据量与刷新 SLA 等关键输入;若用户说“先起草”,则先列出假设。随后按理解需求、设计维度模型、建 staging、建中间、建集市、加测试与文档、定义语义层指标、端到端验证的流程推进。

适用场景:dbt 项目设计、Kimball 维度建模、SQL 转换逻辑、数据测试、语义层指标定义、dbt CI/CD 与仓库查询优化。

限制:不覆盖原始数据摄取与抽取(Fivetran、Airbyte 等)、数据基础设施供给、语义层之外的 BI 工具配置,以及实时流式管道。Python 工具只读取 dbt manifest/catalog JSON,不直接查询仓库;quality_scorer.py 为规则式扣分,可能无法覆盖所有项目约定。成功标准包括 dbt build 测试通过率 100%、每个主键至少一项测试、大型增量表处理新数据在 5 分钟内、quality_scorer.py 对每个集市模型不低于 80 分等。其他细节资料暂未提供。