用途:本技能面向 Airflow DAG 与项目的生产部署,覆盖 Astro(Astronomer 托管平台)与开源 Airflow 两条路径。托管运维和更快 CI/CD 可选 Astro;开源方案中 Docker Compose 适合开发,生产建议用 Kubernetes Helm Chart。
Astro 部署命令:astro deploy 为全量部署(构建镜像并部署 DAG);astro deploy --dags 仅推送 dags/ 目录文件,跳过镜像构建,速度更快;astro deploy --image 仅推送镜像,适合多仓库 CI/CD;astro deploy --dbt 部署 dbt 项目配合 Cosmos 运行。Astro 支持分支到部署的映射,推送映射分支可触发自动部署,可在 UI 的 Deployment Settings > CI/CD 配置。多次快速触发的部署会进入部署队列顺序执行。
开源 Docker Compose:需 Docker 与 Docker Compose v2.14.0+,下载官方文件 curl -LfO 'https://airflow.apache.org/docs/apache-airflow/stable/docker-compose.yaml'。Airflow 3 架构包含 airflow-apiserver、airflow-scheduler、airflow-dag-processor、airflow-worker、airflow-triggerer、postgres、redis。常用操作:docker compose up -d、docker compose down、docker compose logs -f airflow-scheduler、docker compose exec airflow-apiserver airflow dags list。安装 Python 包可写入 requirements.txt 后重建,或用自定义 Dockerfile。
开源 Kubernetes:需集群、kubectl、helm。命令:helm repo add apache-airflow https://airflow.apache.org;helm repo update;helm install airflow apache-airflow/airflow --namespace airflow --create-namespace。values.yaml 可配置 executor、镜像版本、gitSync、apiServer、scheduler、dagProcessor、triggerer、workers、日志持久化与 PostgreSQL。升级用 helm upgrade。DAG 部署策略包括 git-sync、持久卷、打入镜像。
限制:资料未提供具体收费、价格与效果数据;生产环境建议使用 Kubernetes 与 Helm Chart,Docker Compose 仅推荐用于学习与探索。