SuperAPI AI 工具集

data-engineering

数据与分析

查看项目

更新于 10-16 08:07

技能介绍

用途:用于构建生产级数据平台,覆盖数据管道架构设计、ETL/ELT 模式选择、数据建模、数据质量保障与管道运维。适合数据工程师在搭建从数据源到仓库再到 BI/ML 的链路时参考。

主要能力:提供批量抽取-转换-加载(ETL)管道示例,含分批抽取、转换校验、重试加载与指标统计;对比 ETL(先转换后加载)与 ELT(先加载后用 SQL/dbt 转换)的适用场景;给出数据质量校验框架,支持 error/warning 两级严重度;提供幂等加载(先删后插)与 MERGE/UPSERT 模式,避免重复数据;列出编排、转换、集成、质量工具的用途与 2025 版本,如 Python 3.12+、Airflow 2.8+、dbt 1.7+、Spark 3.5+、Airbyte 0.55+、Great Expectations 0.18+。

使用方式与实践:遵循幂等(delete_and_insert 按分区)、增量处理(WHERE updated_at > last_run_timestamp)、边界处校验 schema 与约束、补充日志与指标可观测性等最佳实践;避免每次全量处理、跳过质量检查、忽略 schema 变更。

适用场景:现代化数据架构(API/DB/文件/SaaS 经 Airbyte/Fivetran/Kafka 入湖入仓,再经 dbt/Spark 转换至 Snowflake 等仓库供 BI 与 ML 使用)、数据质量治理、管道排障。

限制:未提供官方收费、定价、平台支持或效果数据;示例依赖外部数据库与库,需自行适配环境。