用途:为 Google Cloud Composer 生成或更新声明式编排流水线定义,覆盖数据管道任务与调度配置,供 Airflow 部署运行。工作区根目录需维护两类文件:编排文件(如 orchestration-pipeline.yaml)定义任务与调度,deployment.yaml 定义各环境(dev、prod)的项目、区域、Composer 环境、artifact_storage、pipelines 等配置;两者需始终一起维护。若已存在 deployment.yaml 且引用了现有编排文件,应更新原文件而非新建。
主要能力:初始化项目(gcloud beta orchestration-pipelines init <名称> --environment=<环境>,默认名称 orchestration_pipeline、环境 dev)、生成/更新 YAML、校验、部署与触发。YAML 字段使用 camelCase;顶层须加 tags,按 IDE 取 job:datacloud:antigravity、vscode、gemini-cli、claude、codex 或 other。
必要用法:生成前用 gcloud dataproc clusters list --project <PROJECT_ID> --region <REGION> 获取 Dataproc 集群;用 gcloud composer environments list --project <PROJECT_ID> --locations <REGION> 与 gcloud composer environments describe 确认镜像版本或 PyPI 包;BigQuery 数据集用 bq show --format=prettyjson <PROJECT_ID>:<DATASET_ID> 读取 location。调度须含 endTime,startTime 未指定时用当前日期,时间格式 "YYYY-MM-DDTHH:MM:SS",不加 Z。生成后必须逐环境执行 gcloud beta orchestration-pipelines validate --environment=<ENV_NAME>,失败则修正并重跑,不得回退为 Python DAG。部署用 gcloud beta orchestration-pipelines deploy --environment=<ENV_NAME> --local,默认 paused=true,需再触发。
限制:AI 能力仅支持 Vertex AI 模型注册与批量推理;批量预测输出按标量列处理,查询时不用 OFFSET。未提供的项目 ID、区域、bucket 等信息需向用户确认,无法凭空推断。