用途:FlowerPower 用于以 Hamilton DAG 定义、配置驱动的数据管道,适合简单到中等复杂度的批处理 ETL、数据转换与 ML 工作流,以及快速原型和单团队批处理任务。它不面向需要调度、状态持久化和 SLA 保障的生产级编排。
主要能力:以代码优先方式定义 DAG,通过配置文件管理参数与执行器;支持 threadpool、processpool 等执行器;可结合 Polars、DuckDB、PyArrow、Delta Lake、Pandera、fsspec 等完成摄取、校验、聚合与写入;提供 Hamilton UI 做基础 DAG 可视化。
使用方式:安装 uv pip install flowerpower[io,ui];初始化 flowerpower init --name my-pipeline-project;新建管道 flowerpower pipeline new bronze_ingestion;运行 flowerpower pipeline run bronze_ingestion。参数放在 conf/pipelines 下的 YAML 中,节点函数用 Hamilton 装饰器定义。
适用场景:bronze-silver-gold 分层管道、增量加载与水位线、Delta Lake 模式演进、Pandera 数据校验、S3 等云存储读取。
限制:无内置调度器,需配合 cron/systemd;重启后无状态持久化;可观测性有限;不适合长时间容错的生产工作流;多节点执行需额外配置 Ray/Dask。依赖 Polars、DuckDB、Delta Lake、云存储与数据校验等前置知识。