SuperAPI AI 工具集

bigquery

数据与分析

查看项目

更新于 10-15 22:15

技能介绍

用途:面向 BigQuery 开发的综合指南技能,覆盖查询编写、数据管理、性能与成本优化。

主要能力:

  1. bq 命令行工具:执行查询、CSV 输出、dry run 估算成本、结果写入目标表;表操作(列出、查看 schema、创建分区/聚类表、删除);数据加载与导出(CSV、JSON、Parquet)。
  2. GoogleSQL 语法:SELECT、常用字符串/日期时间/聚合/窗口函数、JOIN、CTE。
  3. 表设计:按日期或整数分区、聚类(最多 4 列,优先高基数)、强制分区过滤。
  4. 性能优化:避免 SELECT *、利用分区裁剪、使用 APPROX_ 函数、JOIN 优化、通过 INFORMATION_SCHEMA.JOBS 查看 slot 使用。
  5. 成本管理:按需($5/TB)与预留 slot 模式、存储定价、dry run 预估、物化视图、BI Engine。
  6. 数据治理:IAM 角色、列级安全(policy tags)、行级安全(row access policy)。
  7. BigQuery ML:创建线性/逻辑回归模型、评估与预测。
  8. 外部数据源:外部表、联邦查询。
  9. 定时查询配置。

使用方式:通过 bq 命令或 SQL 语句操作,示例命令如 bq query --use_legacy_sql=false 'SELECT ...'、bq load、bq extract 等。

适用场景:数据仓库查询、ETL、数据分析、机器学习建模、成本与权限管理。

限制:资料未提供具体平台限制、配额细节或版本要求,部分配置需在 Cloud Console 或 gcloud 中完成。