SuperAPI AI 工具集

databricks-upgrade-migration

部署与运维

查看项目

更新于 10-15 22:42

技能介绍

用途:升级 Databricks Runtime(DBR)版本,并从 Hive Metastore 迁移到 Unity Catalog,同时处理版本兼容、弃用配置移除、表迁移、API 端点更新与 Delta 协议升级。

主要能力:提供版本兼容性对照;用 WorkspaceClient 规划并按需执行集群 DBR 升级(默认 dry_run),检测弃用 Spark 配置并给出移除原因;支持通过 SYNC、CTAS、DEEP CLONE 迁移表,迁移视图,核对行数并授权;更新 Jobs API 2.0 到 2.1 的任务写法(tasks[] 数组);升级 Delta 协议以启用删除向量与 Liquid Clustering。

必要用法:需工作区管理员权限、测试/预发环境验证及现有工作负载与依赖清单。先清点 Hive 表(SHOW DATABASES/TABLES IN hive_metastore),按场景选 SYNC(就地加 UC 元数据)、CTAS(复制数据)、DEEP CLONE(Delta 保历史);用 DESCRIBE DETAIL 查看协议版本,再 ALTER TABLE 设置 delta.minReaderVersion、delta.minWriterVersion 与 delta.enableDeletionVectors;用 CLUSTER BY 启用 Liquid Clustering。SDK 用最新 API:pip install --upgrade databricks-sdk。

限制:协议升级不可逆,降级需 DEEP CLONE 到新表;SYNC 依赖存储权限与网络;迁移后需补 Unity Catalog 授权(GRANT USAGE ON CATALOG、GRANT SELECT ON SCHEMA)并更新对 hive_metastore 的引用。资料未提供价格、具体平台支持范围与性能数据。