用途:该技能为 AI 编程代理提供一套 Google Cloud Platform(GCP)数据工程参考仓库,帮助开发者构建生产级数据管道与处理方案。仓库由 Vishal Bulbule 创建,包含 54+ 个完整可运行项目,覆盖 BigQuery、Dataflow、Apache Beam、Cloud Composer、Pub/Sub、Dataproc、Gemini AI 与 Vertex AI。
主要能力:每个项目提供模块化 Python 代码(非脚本)、ASCII 架构图、示例数据夹具、带 GCP 环境自动化配置的 deploy.sh,以及针对真实 GCP 环境测试过的端到端示例。示例涵盖 BigQuery 的 CSV 导入、UPSERT/MERGE、BigQuery ML 训练与预测;Cloud Storage 的文件管理、签名 URL 与生命周期策略;Pub/Sub 的发布与订阅流式处理;Beam/Dataflow 的基础转换、CSV 写入 BigQuery、窗口与死信队列等高级模式;以及 Cloud Composer/Airflow 的 DAG 基础。
使用方式:先克隆仓库并进入目录:git clone https://github.com/vishal-bulbule/google-cloud-data-engineering-hub.git,然后 cd google-cloud-data-engineering-hub。前置条件为 Python 3.10+、Google Cloud SDK(gcloud CLI)、已启用计费的有效 GCP 项目及相应 IAM 权限。环境配置:python3 -m venv .venv,source .venv/bin/activate(Windows 用 .venv\Scripts\activate),进入具体项目目录后 pip install -r requirements.txt,并设置 export GOOGLE_CLOUD_PROJECT=your-project-id、export GOOGLE_CLOUD_LOCATION=us-central1,再执行 gcloud auth application-default login。
适用场景:需要参考或生成 GCP 数据工程代码的开发者与 AI 代理,可用于学习各服务的典型用法、搭建数据管道原型或对照实现。
限制:资料未提供各项目的具体运行成本、配额、区域可用性或完整项目清单;部分示例依赖真实 GCP 环境与计费项目,需自行准备凭据与权限。资料中未提供的内容暂未提供。