用途:面向 BigQuery 开发的综合指南技能,覆盖查询编写、数据管理、性能与成本优化。
主要能力:
- bq 命令行工具:执行查询、CSV 输出、dry run 估算成本、结果写入目标表;表操作(列出、查看 schema、创建分区/聚类表、删除);数据加载与导出(CSV、JSON、Parquet)。
- GoogleSQL 语法:SELECT、常用字符串/日期时间/聚合/窗口函数、JOIN、CTE。
- 表设计:按日期或整数分区、聚类(最多 4 列,优先高基数)、强制分区过滤。
- 性能优化:避免 SELECT *、利用分区裁剪、使用 APPROX_ 函数、JOIN 优化、通过 INFORMATION_SCHEMA.JOBS 查看 slot 使用。
- 成本管理:按需($5/TB)与预留 slot 模式、存储定价、dry run 预估、物化视图、BI Engine。
- 数据治理:IAM 角色、列级安全(policy tags)、行级安全(row access policy)。
- BigQuery ML:创建线性/逻辑回归模型、评估与预测。
- 外部数据源:外部表、联邦查询。
- 定时查询配置。
使用方式:通过 bq 命令或 SQL 语句操作,示例命令如 bq query --use_legacy_sql=false 'SELECT ...'、bq load、bq extract 等。
适用场景:数据仓库查询、ETL、数据分析、机器学习建模、成本与权限管理。
限制:资料未提供具体平台限制、配额细节或版本要求,部分配置需在 Cloud Console 或 gcloud 中完成。