SuperAPI AI 工具集

dagster

数据与分析

查看项目

更新于 10-16 06:22

技能介绍

用途:Dagster 是数据管道编排器,核心概念是软件定义资产,即声明管道产出的数据工件。资产可追踪血缘、支持增量计算,并与 Dagster UI 集成。

主要能力:可定义资产(@asset)、资源(ConfigurableResource)、Definitions 装配、作业(define_asset_job)、调度(ScheduleDefinition,cron)、传感器(@sensor,事件触发)以及分区资产(如 DailyPartitionsDefinition 按日分区做增量处理)。

安装与使用:pip install dagster dagster-webserver;dagster project scaffold --name my_pipeline;cd my_pipeline;pip install -e ".[dev]";dagster dev 启动开发服务器,UI 位于 http://localhost:3000。常用 CLI:dagster asset materialize --select raw_users,raw_orders、dagster asset list、dagster job execute -j analytics_job、dagster definitions validate。

适用场景:需要以数据资产为中心组织 ETL/分析管道、按时间分区增量处理、结合调度与传感器触发作业的团队。

限制:资料未提供收费、价格、平台支持范围及性能等具体信息,暂未提供。