SuperAPI AI 工具集

etl-tools

数据与分析

查看项目

更新于 10-16 08:07

技能介绍

用途:面向生产环境的 ETL/ELT 数据管道开发与编排,围绕 Apache Airflow、dbt、Prefect、Dagster 等工具展开,涉及数据集成、数据质量与调度监控。

主要能力:Airflow 的 TaskFlow API(@dag/@task)编排、Scheduler/Executor/Worker/Metadata DB/Webserver 架构、SqlSensor/S3KeySensor/HttpSensor 等传感器、动态任务映射 expand 与 TaskGroup;dbt 增量模型、配置与测试,以及通过 Cosmos 的 DbtTaskGroup 与 Airflow 集成;Great Expectations 数据质量校验与分支;幂等加载、SLA 与失败告警等生产模式;还覆盖调试清单(airflow dags list-import-errors、airflow tasks test、airflow tasks logs、airflow tasks clear、airflow jobs check 等)与单元测试模板。文档列出工具及版本参考:Apache Airflow 2.8+、dbt Core 1.7+、Prefect 2.14+、Dagster 1.5+、Great Expectations 0.18+、Airbyte 0.55+、Apache NiFi 2.0+、Fivetran。

使用方式:资料以示例代码展示建 DAG、写 dbt 模型、连接外部存储与调度运行的做法;具体安装命令、插件安装与运行环境配置暂未提供。

适用场景:批处理数据管道、数据仓库转换、数据质量校验与生产调度运维。

限制:资料未提供收费、价格、部署平台要求、性能数据与完整安装步骤;示例中的连接 ID、桶名、邮箱等为占位配置,需按实际环境替换。