airflow-and-workflow-orchestration

用途：当问题属于编排而非转换逻辑时使用本技能，帮助设计 Airflow、MWAA、Cloud Composer、Azure Data Factory、Step Functions、Google Cloud Workflows 或 Databricks Workflows 模式，明确依赖、重试、归属、回填与安全发布切换。适用场景：构建或修改 Airflow DAG；在调度驱动、事件驱动与平台原生编排间取舍；设计调度、传感器、任务依赖或重试策略；协调摄取、转换、质量检查与发布步骤；调整回填、catchup 或 SLA 行为。不要用它替代底层处理技能——编排只协调工作，不定义计算逻辑。工作流程：先定义工作流契约，记录归属、调度或触发方式、上下游依赖、任务边界、成功与失败信号；再选编排模型，判断负载是调度驱动、事件驱动、元数据驱动扇出，还是湖仓内平台原生；然后分离编排与处理关注点，任务应调用定义良好的作业，不把业务逻辑藏进编排代码；有意识地设计重试与超时，考虑幂等性、重复写入、传感器成本、上游迟到数据、告警路由；显式定义回填行为，在启用前决定 catchup、重跑与历史窗口；发布步骤须经校验门控，任务链成功不代表下游表通过质量检查。服务选择提示：AWS 依赖密集 DAG 优先 MWAA，分支与服务协调用 Step Functions，到达型流程用轻量事件触发；Azure 连接器多、参数化流程优先 Azure Data Factory 或 Synapse Pipelines，执行留在 Databricks 时用 Databricks Workflows；GCP DAG 用 Cloud Composer，API 与服务协调用 Google Cloud Workflows，简单触发放 Cloud Scheduler 加 Pub/Sub；Databricks 平台原生作业用 Workflows 或 Delta Live Tables，跨平台依赖用外部编排器。常见误区：把转换逻辑留在 DAG 文件内会造成脆弱代码；重试并非总是安全，非幂等任务可能重复数据；catchup 不会自动处理回填；平台默认编排器未必合适。危险信号：业务逻辑嵌入调度接线、凭习惯选编排器、任务归属与告警未定义、传感器无超时与成本意识、发布任务无校验门控、回填依赖默认 catchup。验证：DAG 职责与计算逻辑分离；编排器匹配工作流形态与平台边界；调度、重试、告警与依赖显式化；回填与 catchup 行为有文档；发布顺序取决于校验而非仅任务完成。可加载 references/pipeline-orchestration-patterns.md。资料未提供具体安装命令、收费或价格信息。