SuperAPI AI 工具集

analytics-engineering

数据与分析

查看项目

更新于 10-26 16:21

技能介绍

分析工程技能是一套用于构建可信、经过充分测试的数据转换管道的纪律性框架,主要基于 dbt 与现代分析工程实践。其目标是帮助用户搭建分析师无需工程支持即可信任和导航的数据仓库。

用途方面,当用户搭建新的 dbt 项目或重构现有项目、设计模型层层级(staging、intermediate、marts)、编写或审查使用 ref()、source() 或宏的 dbt 模型、在 YAML 中定义指标(dbt Metrics、MetricFlow 或 Cube)、构建自服务分析的语义层、实现缓慢变化维度(SCD Type 1、2、3)、编写 dbt 测试(通用、单例或自定义)与数据契约、配置源、暴露或新鲜度检查,以及询问维度建模(星型、雪花、OBT)时,应触发该技能。不适用于与 dbt 模型无关的数据管道编排(Airflow、Dagster),也不适用于原始数据接入或 ELT 工具配置(Fivetran、Airbyte 连接器)。

主要能力与核心原则包括:刻意分层模型,采用三层架构——staging(与源表 1:1,仅重命名和类型转换)、intermediate(业务逻辑连接与过滤)、marts(面向分析师的宽表、反规范化表),每个模型只属于一层,不得跳层;每个粒度一个事实来源,每个 mart 模型必须有明确定义的粒度并在 YAML schema 中记录;测试重要内容,主键用 unique 和 not_null 测试,外键用 relationships 测试,业务规则用自定义单例测试;指标是代码而非查询,在版本控制的 YAML 中定义指标,确保所有消费方共享单一定义;为自服务而建,每个 mart 应让非工程师也能理解,使用清晰列名并为每列添加描述。

核心概念涵盖模型层架构(staging 前缀 stg_、intermediate 前缀 int_、marts 前缀 fct_/dim_)、维度建模(事实表与维度表、OBT)、语义层(位于数据仓库与消费方之间,以声明式格式定义指标、维度和实体,dbt MetricFlow、Cube、Looker LookML 是实现)、增量模型(使用 is_incremental() 宏和 unique_key 处理新行与更新记录)。

常见任务包括:设置 dbt 项目结构(按源系统分组 staging、按业务域分组 marts,文件名使用下划线,双下划线分隔源系统与实体)、编写 staging 模型(仅重命名、类型转换和最小清洗,无连接和业务逻辑)、构建 mart 事实表(增量配置、unique_key、on_schema_change)、在 YAML 中定义 MetricFlow 指标(semantic_models、entities、dimensions、measures、metrics)、编写 dbt 测试与数据契约(contract enforced、列级测试、单例测试)、配置源新鲜度(warn_after、error_after,在 CI 中运行 dbt source freshness)、构建自服务维度表(清晰列名如 lifetime_value_cents 而非缩写)。

文档还列出反模式与常见错误,例如在 staging 模型中放业务逻辑、仅在 BI 工具中定义指标、不记录粒度、跳过 intermediate 层、使用 SELECT *、硬编码过滤值、大表无增量策略,并给出替代做法。此外包含若干注意事项:增量模型 unique_key 错误会静默重复行;ref() 只保证编译期依赖而非运行时数据存在;语义层与 BI 工具双重定义指标会分叉;staging 中 SELECT * 在上游 schema 变化时静默改变形状;增量 WHERE 中硬编码日期在 full-refresh 时丢失历史数据。

使用方式上,技能激活时首次回复以 🧢 emoji 开头;首次激活会检查已安装的伴随技能并对比推荐列表,缺失时提示安装命令 npx skills add AbsolutelySkilled/AbsolutelySkilled --skill <name>;详细模式可从 references/ 加载 dbt-patterns.md、semantic-layer.md、self-serve-analytics.md,但仅在任务需要时加载。限制方面,该技能对 dbt Core/Cloud 有明确主张,不覆盖管道编排与原始数据接入配置;文档未提供收费、价格、平台支持范围或效果保证等信息,暂未提供。