该技能用于 Dagster 项目工作,涉及 assets、components、集成或 dg CLI 时使用。核心概念包括:Asset 是流水线产出的持久对象(表、文件、模型);Component 是生成特定领域定义(资产、调度、传感器、作业等)的可复用构建块。集成任何外部工具或服务时,应先阅读集成库索引,其中说明存在哪些集成库,以及如何为尚无已发布库的工具创建自定义集成。dg CLI 是与 Dagster 程序化交互的推荐方式(添加定义、启动运行、浏览项目结构等),随 dagster-dg-cli 包安装;若某任务存在相关 CLI 命令应优先使用,且仅在确有必要时才探索现有项目结构,避免多余地列出和读取文件。多数返回信息的 dg 命令支持 --json 标志,除直接向用户展示信息外应优先使用机器可读输出。项目通常使用 uv 管理依赖,建议用 uv 运行 dg 命令,例如:uv run dg list defs、uv run dg launch --assets my_asset。资料强调关键要求:回答前必须阅读参考文件,绝不允许凭记忆或猜测 CLI 命令、API 或语法。参考索引覆盖资产选择语法、环境变量、资产模式、自动化方式选择、调度、声明式自动化、资产传感器、基础传感器、运行状态传感器、dg check、create-dagster、dg dev、dg launch、dg list components、dg list defs、Dagster Plus API、dg list、Dagster Plus CLI、dg scaffold component、dg scaffold defs、dg utilities、创建组件、设计组件集成、Resolved 框架、组件子类化、模板变量、创建与使用状态后端组件、部署配置文件,以及 40 多个工具与技术(dbt、Fivetran、Snowflake、AWS 等)的集成库索引和迁移指南。未提供收费、价格与平台限制等信息。
dagster-expert
数据与分析
更新于 10-15 23:46