SuperAPI AI 工具集

federate-lakehouse-catalog

数据与分析

查看项目

更新于 10-16 05:49

技能介绍

用途:在 Google Cloud Lakehouse 中创建联邦目录(federated catalog),让 BigQuery 可通过公网查询远程 Iceberg 目录的数据,当前支持 Databricks Unity Catalog 与 AWS Glue Data Catalog。

主要能力:指导完成信息收集与区域选择、API 校验、凭据存储、IAM 角色与权限、联邦目录创建、后台刷新以及连接验证。Databricks 流程需工作区 URL 与具读权限的 OAuth 服务主体(Client ID 与 Secret);AWS Glue 流程需 AWS 管理员权限以创建 IAM 角色与权限策略,并需具备创建 Lakehouse 资源及密钥的 Google Cloud 项目权限。

使用方式:先确认目标目录与远端数据所在 AWS 区域,并按区域配对建议选择延迟较低的 GCP 区域。随后校验所需 API,例如: gcloud services check biglake.googleapis.com Databricks 流程将凭据写入 Secret Manager,密钥须与 Lakehouse 目录同区域,再创建联邦目录: gcloud alpha biglake iceberg catalogs create <CATALOG_NAME> --catalog-type="federated" --federated-catalog-type="unity" AWS Glue 流程先创建占位信任策略的 IAM 角色,附加 Glue/S3 读权限,创建目录时 --glue-warehouse 填 12 位 AWS 账号 ID,再回填信任策略并启用刷新: gcloud alpha biglake iceberg catalogs update <CATALOG_NAME> --refresh-interval="300s" 完成后可通过 BigQuery 查询: SELECT * FROM <PROJECT_ID>.<CATALOG_NAME>.<NAMESPACE>.<TABLE_NAME> LIMIT 10; 并用 bq ls --location="<REGION>" <PROJECT_ID>.<CATALOG_NAME> 验证。

限制与注意:Secret Manager 密钥与 Lakehouse 目录必须位于同一区域;BigQuery 查询须在同一区域执行;AWS Glue 权限须按具体目录、数据库与 S3 桶收窄,不建议直接套用通配符;故障排查可参考官方跨云 Lakehouse 文档。资料未提供收费、价格与性能保证等信息。