用途:该技能为 Google Cloud BigQuery 提供专家级辅助,BigQuery 是 Google 的无服务器、高可扩展、多云端数据仓库,可在数秒内处理 TB 级数据。适用场景包括:无服务器企业级数据仓库(查询 PB 级结构化与半结构化数据,无需管理基础设施)、实时流式分析(每秒摄取并查询数百万事件,亚秒级数据新鲜度)、库内机器学习 BigQuery ML(用标准 SQL 训练和评分回归、分类与预测模型)、联邦多云查询 BigQuery Omni(直接查询 AWS S3 与 Azure Blob Storage 中的数据,无需出口复制)。
主要能力:标准 SQL 查询;分区与聚簇表设计;成本优化;原生 JSON 半结构化查询;BigQuery ML 模型训练。
使用方式:可用标准 SQL 查询公共数据集,例如 SELECT name, COUNT(*) as count FROM bigquery-public-data.usa_names.usa_1910_2013 GROUP BY name ORDER BY count DESC LIMIT 10;。建表时可用 PARTITION BY DATE(event_timestamp) 与 CLUSTER BY user_id, event_name,并通过 OPTIONS 设置 require_partition_filter=true。可用 JSON_VALUE、JSON_EXTRACT_SCALAR 查询嵌套 JSON。可用 CREATE OR REPLACE MODEL 配合 OPTIONS(model_type='logistic_reg', input_label_cols=['has_churned']) 训练模型。
最佳实践:始终启用 require_partition_filter=true 防止失控计费;按高基数过滤列聚簇;使用基于 gRPC 的 BigQuery Storage Write API 流式写入;执行重查询前用 dry-run 检查计费字节。避免 SELECT *、避免在子查询中使用 ORDER BY、避免将大结果导出为单个 CSV,应使用 EXPORT DATA OPTIONS(...) 多部分导出。
限制与排错:缺少分区过滤会报 Cannot query without partition filter;JOIN 或 ORDER BY 数据倾斜会报 Resources exceeded;并发 DDL/DML 过多会触发配额限制,应改用 Storage Write API 批量追加。具体收费、价格与平台细节暂未提供。