SuperAPI AI 工具集

gcp-bq-data-export

数据与分析

查看项目

更新于 10-15 21:48

技能介绍

用途:把 BigQuery 表或查询结果导出到 Cloud Storage(或小数据量本地文件),支持 bq extract 命令与 EXPORT DATA SQL 两种方式。

主要能力:支持 CSV、NEWLINE_DELIMITED_JSON、AVRO、PARQUET 格式;可设置压缩(GZIP、SNAPPY、DEFLATE、NONE)、CSV 分隔符与表头;支持按分区导出(如 dataset.table$20240115);大表可用通配符分片(如 'gs://bucket/export-*.csv'),因单文件上限 1 GB;EXPORT DATA 可配合 SELECT、WHERE、GROUP BY 做筛选与转换后导出。

使用方式:命令行示例 bq extract --destination_format=CSV --compression=GZIP --print_header=true dataset.table gs://bucket/export.csv.gz;SQL 示例 EXPORT DATA OPTIONS(uri='gs://bucket/export-*.csv', format='CSV', overwrite=true, header=true) AS SELECT * FROM project.dataset.table WHERE date >= '2024-01-01'。定时可用 bq mk --transfer_config 或 Cloud Composer 的 BigQueryInsertJobOperator;监控用 bq ls --jobs、bq show -j JOB_ID 或查询 INFORMATION_SCHEMA.JOBS_BY_PROJECT。

适用场景:数据交换用 CSV、API 消费用 JSON、回导 BigQuery 用 Avro、分析工具用 Parquet;长期存储建议 GZIP,处理管道建议 SNAPPY。

限制:单文件 1 GB,需通配符;单次导出任务上限 10 TB、50,000 个 URI;本地导出仅适合小数据量,生产建议用 GCS;需具备 GCS 写入权限。导出本身免费,GCS 存储与跨区网络按标准计费。具体配额与价格以官方为准。