SuperAPI AI 工具集

airflow-dag-patterns

数据与分析

查看项目

更新于 10-15 22:11

技能介绍

用途:该技能用于构建生产级 Apache Airflow DAG,覆盖 DAG 设计、算子、传感器、测试与部署策略,适合数据管道编排、DAG 结构与依赖设计、自定义算子与传感器实现、本地测试 DAG、生产环境部署以及调试失败的 DAG 运行。

主要能力与用法:先识别数据源、调度周期与依赖关系;设计具备幂等性、职责清晰并配置重试的任务;实现带可观测性与告警钩子的 DAG;在预发布环境验证并编写运维手册。详细模式、检查清单与模板见 resources/implementation-playbook.md。

适用场景:需要 Airflow 进行工作流编排的数据工程任务。

限制:不适用于仅需简单 cron 任务或 shell 脚本、工具链中不含 Airflow、或与工作流编排无关的任务。安全方面,未经批准不要更改生产 DAG 调度;谨慎测试回填与重试,防止数据重复。该技能仅在任务明确匹配上述范围时使用,输出不能替代针对具体环境的验证、测试或专家评审;若缺少必要输入、权限、安全边界或成功标准,应停止并请求澄清。