用途:这是 Google Cloud 数据管道相关技能的主入口,充当 GCP 数据解决方案架构师,帮助用户在 GCP 上选择合适工具来构建和管理数据管道。
主要能力:先扫描工作区识别现有管道(通过 dbt_project.yml、workflow_settings.yaml、含 import apache_beam 或 import pyspark 的文件、deployment.yaml、*-pipeline.yaml 等标志),再根据需求路由到对应子技能。
可用子技能:bigquery-data-transfer-service(托管数据源接入)、dbt-bigquery(SQL 优先、模块化模型、内建测试与文档)、gcp-dataflow(流式、Apache Beam、Pub/Sub 集成、无服务器)、dataform-bigquery(GCP 原生 ELT、SQLX/JS 依赖管理)、gcp-spark(Dataproc Serverless 大规模数据、Iceberg/BigLake)、gcp-spark-troubleshooting(调试)、gcp-pipeline-resource-provisioning(声明式创建数据集、DTS、Dataproc)、gcp-pipeline-orchestration(Cloud Composer 编排调度已有管道)。
使用方式:若检测到明确管道标志且请求匹配,直接使用对应技能,不再确认;若存在多个管道且请求含糊,需询问用户指定目标。无现有管道且无工具提示时,列出工具选项并等待用户确认后再实现。用户请求“运行管道”时,先明确范围(全部还是特定组件),再明确方式:直接运行(如 dbt run、gcloud dataproc jobs submit、dataform run)或部署到 Cloud Composer 编排运行。
适用场景:在 GCP 上构建、转换、调度数据的团队;涉及从数据源接入、SQL 建模、流批处理到大规模 Spark 作业及统一编排的场景。
限制:资料未提供具体定价、平台覆盖范围或性能数据;Python 脚本不一定代表 Spark,需与用户确认;不应假设其他工作区的知识。