用途:Apache Airflow 是一个以 Python 代码编程式编写、调度和监控工作流的平台,工作流以有向无环图(DAG)形式定义,便于维护、版本化、测试和协作。本技能提供构建、调度与监控数据管道和工作流的专家知识。
主要能力:涵盖 DAG 基础结构、TaskFlow API 装饰器写法、常用 Operator(Bash、Python、BranchPython、Email)、Sensor(File、TimeDelta、自定义)、连接与 Hook(Postgres、HTTP)、XCom 任务间通信、任务依赖(线性、并行、跨 DAG)、动态任务生成与动态任务映射(Airflow 2.3+)、airflow.cfg 与环境变量配置、Variables 及 Jinja 模板。
使用方式:可用 pip 安装(带 constraints),或使用 Docker Compose(开发推荐),也可 standalone 快速启动。示例命令包括 airflow db init、airflow users create、airflow webserver --port 8080、airflow scheduler,以及 airflow connections add、airflow variables set 等。Web UI 默认地址 http://localhost:8080,默认凭据 airflow/airflow。
适用场景:数据工程 ETL 管道、定时批处理、跨系统依赖编排、API 数据抽取与加载等。
限制:资料未提供具体收费、价格、平台支持范围或性能效果数据;部分配置项与版本行为可能随 Airflow 版本变化,需以官方文档为准。