dlt-dagster

该类技能的用途是在 Dagster 中运行 dlt 管道。使用前先明确两点：采用 dlt 资产（推荐）还是标准 Dagster 资产；在 Dagster 计算上运行还是在外部计算（ECS、Fargate 等）上运行。若为外部计算，应改用 dagster-integrations 技能，不要用本技能的 dlt_assets/Component 执行。\n\n主要能力：dlt 资产方式下，每个 dlt 资源对应一个 Dagster 资产，可选择性运行与并行化，可用 Component（defs.yaml + loads.py）或 Pythonic（@dlt_assets + DagsterDltResource）实现；标准 Dagster 资产方式用单个 @asset 包装整个 dlt 管道，全有或全无。\n\n使用方式：创建项目 uvx create-dagster project my-project && cd my-project/src，激活虚拟环境后 uv add dagster-dlt（或 pip install dagster-dlt）。Component 用 dg scaffold defs dagster_dlt.DltLoadCollectionComponent my_ingest --source github --destination snowflake，再编辑 loads.py 与 defs.yaml。Pythonic 定义 dlt 源与管道，写 @dlt_assets，并把 DagsterDltResource 加入 Definitions；运行 dg dev 后在 UI 物化资产。凭据建议用环境变量（如 SOURCES__GITHUB__ACCESS_TOKEN、DESTINATION__SNOWFLAKE__CREDENTIALS__PASSWORD），避免提交 .dlt/secrets.toml。可选加作业与调度；可部署到 Dagster Cloud。增量/回填用 apply_hints，并行用每资源一个资产、唯一 pipeline 名与 multi_process_executor。\n\n限制：外部计算执行不属本技能范围；构建或维护 dlt 管道本身应使用 dlt-skill（可用 npx skills add untitled-data-company/data-skills --skill dlt-skill 安装）；其他引擎调度用 dagster-integrations（npx skills add https://github.com/dagster-io/skills --skill dagster-integrations）。具体支持的目的地、平台与版本兼容性资料暂未提供。