SuperAPI AI 工具集

data-engineering-data-pipeline

数据与分析

查看项目

更新于 10-15 21:11

技能介绍

用途:这是一个数据管道架构专家型技能,适用于数据管道架构相关任务或工作流,提供该领域的指导、最佳实践与检查清单。不适用于与数据管道架构无关的任务,或需要其他领域、其他工具的场景。

主要能力:设计ETL/ELT、Lambda、Kappa与Lakehouse架构;实现批量与流式数据摄取;使用Airflow/Prefect构建工作流编排;使用dbt与Spark进行数据转换;以ACID事务管理Delta Lake/Iceberg存储;实现数据质量框架(Great Expectations、dbt tests);用CloudWatch/Prometheus/Grafana监控管道;通过分区、生命周期策略与计算优化控制成本。

知识模块:架构设计、摄取实现、编排、基于dbt的转换、数据质量框架、存储策略、监控与成本优化;交付物包括架构文档、实现代码、配置文件、监控与可观测性以及运维指南。

使用方式与限制:资料未提供具体安装命令或调用步骤,仅说明要求中包含$ARGUMENTS占位符;未说明支持的平台、收费或价格信息,这些内容暂未提供。使用时需结合具体数据管道架构任务,超出该范围的任务不适合使用本技能。