SuperAPI AI 工具集

gcp-bq-data-loading

数据与分析

查看项目

更新于 10-15 21:48

技能介绍

用途:该技能面向将数据导入 BigQuery 的场景,涵盖从 CSV、JSON、Avro、Parquet 文件,以及 Cloud Storage 或本地文件加载数据。

主要能力:提供 bq load 基本命令模板;CSV 加载支持 --skip_leading_rows、--field_delimiter、--allow_quoted_newlines、--allow_jagged_rows、--max_bad_records、--null_marker 等参数;JSON 需使用换行分隔格式(NEWLINE_DELIMITED_JSON),支持嵌套 STRUCT 与 REPEATED 字段;Avro 与 Parquet 可从文件元数据自动识别 schema。还覆盖追加、--replace 全表替换、TABLE$YYYYMMDD 分区替换、--if_not_exists 跳过加载等策略,以及通配符、多文件、本地文件加载。

schema 处理:支持内联 schema、schema 文件(含 REQUIRED/NULLABLE/REPEATED 模式)、--autodetect 自动检测,以及 --schema_update_option 的字段新增与放宽。

其他能力:自动识别 GZIP、DEFLATE、SNAPPY、BZIP2、LZ4、ZSTD 压缩;--max_bad_records、--ignore_unknown_values、--dry_run 等错误处理;时间分区与范围分区加载;并行加载与格式性能建议;通过 bq ls --jobs、bq show -j 及 INFORMATION_SCHEMA 监控加载任务;并给出每日批量加载、增量加载加 MERGE 去重等常见模式与排错提示。

限制:自动检测不建议用于生产,schema 可能变化;本地文件需先上传再加载,大文件较慢;超大单文件、复杂转义 CSV、高压缩文件会影响并行性能。具体权限、配额与价格等资料暂未提供。