SuperAPI AI 工具集

data-engineering

数据与分析

查看项目

更新于 10-15 21:40

技能介绍

用途:面向数据工程实践,帮助搭建与优化数据管道、设计数据仓库、实现 ETL/ELT、建设数据湖并优化数据基础设施。适用问题包括数据管道、ETL、数据仓库、数据湖,以及 Airflow、Spark、dbt、Snowflake、BigQuery、数据建模等主题。

主要能力:给出分层结构参考,即来源→摄取→存储→转换→服务→消费;列出各层工具,如摄取 Fivetran、Airbyte、Stitch,存储 S3、GCS、Snowflake、BigQuery,转换 dbt、Spark、Airflow,编排 Airflow、Dagster、Prefect,服务 Looker、Tableau、Metabase。涵盖批处理与流式两种管道模式,前者以 Airflow DAG 示例,后者以 Kafka 消费者示例。

dbt 与建模:给出 models 目录结构,分 staging、intermediate、marts 三层的组织方式,并展示增量物化模型写法与 ref 引用、is_incremental 条件。数据建模部分介绍维度建模,区分事实表与维度表,并给出星型模式示意。

质量与性能:数据质量包含 dbt 测试规则与完整性、唯一性、及时性、准确性、一致性等指标;性能优化涉及 BigQuery 分区与聚簇建表示例,以及分区、聚簇、物化、缓存等手段。监控部分列出运行时、行数、新鲜度、失败等告警阈值,以及数据可观测性的 freshness、volume、schema_change 配置。

最佳实践:管道设计强调幂等、增量处理、清晰血缘与自动化测试;数据治理强调文档、血缘追踪、访问控制与 SQL 版本管理;成本管理强调查询成本监控、分区、错峰调度与归档。

限制:资料以指南与示例为主,未提供安装命令、收费价格、具体平台运行前提或效果数据,这些信息暂未提供。