SuperAPI AI 工具集

flowerpower

数据与分析

查看项目

更新于 10-15 23:58

技能介绍

用途:FlowerPower 用于以代码优先方式构建配置驱动的数据管道,基于 Hamilton DAG 定义节点依赖,适合简单到中等复杂度的批处理 ETL、数据转换和 ML 工作流,以及快速原型和批处理。它不面向需要调度、状态持久化和高容错的生产级编排。

主要能力:支持 Hamilton DAG 定义、配置文件参数化、多种执行器(如 threadpool、processpool)、Delta Lake 读写与 schema 演进、Polars 惰性求值、DuckDB 水位线增量加载、Pandera 数据校验、fsspec 访问 S3 等云存储,并可用 Hamilton UI 查看 DAG。

使用方式:安装 uv pip install flowerpower[io,ui];初始化 flowerpower init --name my-pipeline-project;创建管道 flowerpower pipeline new bronze_ingestion;运行 flowerpower pipeline run bronze_ingestion。管道参数放在 conf/pipelines 下的 YAML 中,Python 文件用 Hamilton 函数定义节点。

适用场景:简单批处理 ETL、数据转换脚本、Medallion 分层(bronze/silver/gold)、增量加载、数据质量校验、云存储读取。

限制:无内置调度器(需配合 cron/systemd)、重启后无状态持久化、可观测性有限、不适合长时间容错生产工作流;多节点执行需额外配置 Ray/Dask。生产编排建议改用 Prefect、Dagster、dbt 或 Airflow。该技能假设已熟悉 Polars、DuckDB、PyArrow、Delta Lake、Iceberg、云存储、Pandera 等基础。