SuperAPI AI 工具集

ETL Pipeline

数据与分析

查看项目

更新于 10-15 20:21

技能介绍

用途:该技能用于设计并自动化 ETL(抽取、转换、加载)数据管道,服务于数据集成与分析场景。

主要能力:资料展示了从多类数据源抽取数据,包括 Postgres、MySQL、MongoDB 等数据库,以及 Stripe、Salesforce 等 REST API 和 CSV/JSON 文件;转换层支持空值填充、日期标准化、货币换算、去重、聚合与多表关联等操作;加载目标覆盖 BigQuery、Snowflake、Redshift 和数据湖,并给出写入模式、分区与聚簇等配置示例。此外还包含基于 DAG 的管道编排、定时调度、重试与死信队列等错误处理、数据质量校验规则、质量报告指标,以及监控指标与告警配置。

使用方式:资料以 YAML、SQL 和 Python 字典等配置片段说明各环节写法,例如定义 sources、transformations、joins、bigquery_load、pipeline 任务依赖、quality_checks、metrics 与 alerts。具体安装命令、运行命令或调用方式暂未提供。

适用场景:需要将多源数据整合到数据仓库或数据湖、构建每日分析型 ETL 任务、并配套数据质量与监控告警的团队。

限制:资料未说明支持的运行环境、依赖版本、收费方式、性能表现或实际效果;上述配置为示例,落地时需结合具体平台调整。