用途:该技能提供 Apache Airflow 生产级 DAG 模式,用于构建数据管道编排、设计 DAG 结构与依赖、实现自定义算子与传感器、本地测试 DAG、生产部署及调试失败运行。
核心概念:DAG 设计遵循幂等(重复运行结果一致)、原子(任务整体成功或失败)、增量(只处理新增或变更数据)、可观测(每步有日志、指标、告警)原则。任务依赖支持线性 task1 >> task2 >> task3、扇出 task1 >> [task2, task3, task4]、扇入 [task1, task2, task3] >> task4 及复杂组合。
快速开始:示例 DAG 使用 PythonOperator 与 EmptyOperator,default_args 含 owner、depends_on_past、email_on_failure、retries、retry_delay、retry_exponential_backoff、max_retry_delay;DAG 参数含 dag_id、schedule、start_date、catchup、tags、max_active_runs。
最佳实践:推荐使用 TaskFlow API(代码更简洁、自动 XCom)、设置超时防止僵尸任务、传感器使用 mode='reschedule' 释放 worker、编写单元与集成测试、保持任务幂等。避免 depends_on_past=True 造成瓶颈、硬编码日期(应使用 {{ ds }} 宏)、使用全局状态、盲目跳过 catchup、在 DAG 文件中放置重逻辑(应从模块导入)。
限制:资料未提供具体版本要求、安装命令、收费信息及平台细节,暂未提供。