SuperAPI AI 工具集

orchestrating-data-pipelines

数据与分析

查看项目

更新于 10-15 23:58

技能介绍

用途:为数据管道提供编排与工作流管理知识,涵盖调度、依赖解析、重试、监控与状态管理,涉及 Prefect、Dagster、dbt 三种主流工具及轻量替代 FlowerPower。

主要能力与选型:Prefect 基于 Flow,适合 Python 化工作流、快速原型与云优先场景,学习曲线中等;Dagster 基于资产,适合数据资产血缘、可复现与类型检查,曲线较陡;dbt 面向 SQL 转换,适合分析工程、ELT 与数据仓库,学习成本低;FlowerPower 基于 Apache Hamilton 的 DAG,配置驱动、无数据库与调度器,适合轻量批处理 ETL。

使用方式:各工具分别有详细指南(prefect.md、dagster.md、dbt.md)。重试模式示例:Prefect 用 @task(retries=3, retry_delay_seconds=60),Dagster 用 @asset(retry_policy=RetryPolicy(...)),dbt 用 --fail-fast 加自定义宏。依赖管理:Prefect 用 task1 >> task2,Dagster 用 @asset(depends_on=[other_asset]),dbt 由模型中的 ref() 构建 DAG。所有编排器都假设操作幂等。

适用场景:通用 ETL 与 API 集成、复杂数据平台、分析数据集市、简单批处理管道。

限制:FlowerPower 无原生调度、无状态持久化、重试仅按管道级、可观测性基础,不适合 7x24 生产工作流、复杂跨依赖图、检查点恢复与多团队细粒度权限。技能依赖 @building-data-pipelines、@accessing-cloud-storage,相关 @assuring-data-pipelines、@designing-data-storage。生产建议包括版本控制、本地测试、环境变量管理凭据、监控告警、日志聚合与幂等写入。具体安装命令与价格暂未提供。