SuperAPI AI 工具集

data-analytics-engineering

数据与分析

查看项目

更新于 10-15 08:56

技能介绍

用途

该技能面向分析工程(Analytics Engineering)场景,帮助团队构建和维护指标、数据契约以及面向 BI 的模型。它覆盖从转换基线选型、mart 建模、语义层设计,到数据质量、治理、发布与迁移的完整工作流。

主要能力

  • 选择或改进分析工程栈(dbt、SQLMesh、Coalesce)。
  • 定义 mart、粒度、维度、事实表、宽表或活动模式(activity schema)。
  • 设计或迁移语义层(dbt Semantic Layer、Lightdash、Cube、仓库原生方案)。
  • 添加数据契约、指标治理、负责人、目录与血缘。
  • 构建数据质量检查、新鲜度监控、异常检测与发布门禁。
  • 为仪表盘、笔记本、API 或 AI/NLQ 分析准备 BI 就绪模型。

使用方式

技能提供默认工作流:先锁定指标契约(在 assets/metric-dictionary.md 中定义 KPI 名称、业务逻辑、粒度、负责人和维度),再选择一种转换基线(dbt 或 SQLMesh),然后按 staging → intermediate → marts 分层建模,在关键接口上添加契约,按需选择语义服务层,加入发布安全的质量控制,最后发布可发现性与治理信息。

技能包含决策指引,例如:团队更关注计划式部署、环境隔离和回填控制时选 SQLMesh;需要最广泛生态、契约、语义层和 dbt 原生 CI 时选 dbt;偏好可视化元数据驱动开发时选 Coalesce。是否添加语义层取决于同一业务指标是否在 3 处以上重复实现。

技能还提供指标变更分类(增量、纠正、破坏性)及对应的发布路径,以及 CI/CD 质量门禁清单,包括 dbt 项目的 PR 检查命令和 SQLMesh 项目的预览检查命令。

适用场景

  • 新建或迁移分析工程栈。
  • 设计 mart 层与语义边界。
  • 需要指标复用、NLQ、API 或 BI 服务。
  • 为共享 mart 和受治理数据集添加契约、负责人、血缘和目录。
  • 防止回归和过期数据,构建测试套件、新鲜度检查和异常监控。
  • 治理、版本化和弃用共享 KPI。
  • 规划 CI/CD 管道、双跑验证、回填和安全切换。
  • 为 LLM/AI 或 GDPR 范围分离 PII 与分析事实。

限制

技能明确列出不适用场景:湖仓或摄入架构应使用 data-lake-platform;产品/事件埋点、归因或身份解析应使用 marketing-product-analytics;OLTP 调优、索引、锁或事务数据库操作应使用 data-sql-optimization;Metabase API 自动化应使用 data-metabase;ML 特征工程、实验或模型评估应使用 ai-ml-data-science。此外,因果推断、网络科学、信息论和约束理论分析不在范围内。

技能还列出常见反模式和已知陷阱,例如仪表盘或笔记本中的 KPI 逻辑、一个 mart 多种粒度、过早引入语义层、缓慢变化维度泄漏到 KPI 连接、非幂等回填、时区/DST 漂移、辛普森悖论等。

工具与资源

技能包含脚本 scripts/analytics_linter.py,用于验证、lint 和健康评分指标字典 JSON 文件;数据文件 data/sources.json、data/valid-metric-dictionary.json、data/sample-metric-dictionary.json;以及多个参考文档和模板,如 references/tool-comparison.md、references/modeling-patterns.md、references/semantic-layer-patterns.md、assets/metric-dictionary.md 等。