用途:在 Google Cloud Dataflow 上编写、打包、执行和排查 Apache Beam 流水线,覆盖新建流水线、配置 Flex Template 以及使用 Google 提供的 Classic/Flex 模板等场景。
主要能力:先检查公开 dataflow-templates 存储桶中是否已有匹配的源与接收端模板(Classic 查 gs://dataflow-templates/latest,Flex 查 gs://dataflow-templates/latest/flex),与用户确认后再决定使用或从零编写;从零创建时确认 Java、Python 或 Go 语言与最新 Apache Beam SDK 版本,并保证全项目版本一致。Java Gradle 项目通过 application 插件传参,不默认使用 Shadow 插件;打包优先采用 Flex Template,Python 推荐单镜像配置,优先用 Cloud Build 而非本地 Docker。支持从模板元数据识别必填参数、准备网络与目标端资源、预建 BigQuery 目标表与错误表,并处理 SSL 证书与 Secret Manager 密钥。运行阶段提供统一执行流程,经过用户确认后触发作业、展示控制台监控 URL,并按 30 秒至 3 分钟频率轮询状态。
诊断能力:可按 Job ID、Project ID、Transform 名称和时间窗口排查性能与失败问题,将用户提供的 Transform 名称映射为 Dataflow stage 或 ptransform,再分别用 Cloud Logging、Monitoring、Dataflow REST API 查询日志与指标;针对流式作业分析整体健康度、瓶颈与并行度、自动扩缩容行为,针对批处理关联指标突变与日志错误,输出症状、根因及代码链接。
限制:资料未提供具体收费、价格、配额或平台支持范围等信息。