用途:面向 Apache Airflow 的专家级编排技能,用于设计和管理复杂数据管道,覆盖 DAG 设计、任务编排、operators、sensors、XComs、动态任务生成、任务依赖与调度及生产运维。当用户提到 orchestration、DAGs 等场景时使用。
主要能力与最佳实践:DAG 设计上保持简单、聚焦单一工作流,使用 TaskFlow API 获得更清晰代码与自动 XCom 处理,新 DAG 设 catchup=False 避免回填,使用有意义的 task_id 并补充文档,保证幂等以便安全重跑。任务配置上设置合适的 retries 与 retry_delay,用 execution_timeout 防止任务卡死,按需配置 depends_on_past,用 pools 限制并发,为关键任务设置 priority_weight。性能上减小 DAG 文件体积与复杂度,避免每次解析都执行的顶层代码,用动态任务映射替代创建大量任务,长等待的 sensor 使用 reschedule 模式,用 task pools 防止资源耗尽。生产运维上监控 DAG 运行时长与 SLA 未达标,配置失败告警,用 Variables 和 Connections 替代硬编码值,启用 DAG 版本管理与测试,完善日志。安全上把凭证存入 Connections 而非代码,使用 Secrets Backend(如 AWS Secrets Manager、Vault),用 RBAC 限制访问,审计 DAG 变更,加密敏感 XCom 数据。
应避免的反模式:非幂等 DAG(用当前日期而非执行日期)、重量级顶层代码(每次解析都调用外部 API)、硬编码凭证而不使用 Connections、忽略任务失败而不配置重试与告警。
参考文档:随技能提供的详细材料按需读取,涵盖 DAG 基础、任务依赖与分支、动态任务生成、Operators 与 Sensors、XComs 与任务通信、Connections 与 Variables、错误处理与重试、生产最佳实践。相关资源包括 Apache Airflow 官方文档、最佳实践、TaskFlow API、Airflow Providers、Astronomer 指南、Airflow GitHub 与 Slack 社区。具体安装命令、价格与平台支持情况暂未提供。