用途:为迁移到 Databricks 提供系统化策略,适用于从本地 Hadoop、Snowflake、AWS Redshift、Synapse 或 Oracle/Teradata 等传统数据仓库迁移的场景。
主要能力:按来源给出迁移模式与复杂度、时间线参考,例如本地 Hadoop 采用 lift-and-shift 加现代化(高复杂度,6-12 个月),Snowflake 采用并行运行加切换(中,3-6 个月),Redshift 采用 ETL 重写加数据复制(中,3-6 个月),传统数仓采用完全重建(高,12-18 个月)。
使用方式:分五步执行。第一步发现与评估,盘点源表元数据(大小、分区、依赖、数据分类),生成带波次分配的优先级迁移计划;第二步 Schema 迁移,转换为 Delta Lake 兼容类型(如 char 转 string、tinyint 转 int),并在目标表启用 auto-optimize;第三步数据迁移,按分区批量迁移大表,每张表迁移后校验行数与 Schema;第四步 ETL/管道迁移,将 spark-submit/Oozie 作业转为 Databricks 作业,更新路径、移除 Hive metastore 引用、适配 Unity Catalog;第五步切换规划,执行六步切换:验证、停用源、最终同步、启用 Databricks、更新应用、监控,每步均含回滚流程。
输出:带优先级的迁移评估、自动化 Schema 迁移、带校验的数据迁移管道、含回滚流程的切换计划。
限制与错误处理:Schema 不兼容时使用类型转换映射;数据截断导致丢失时逐步校验计数;大表性能问题采用分区迁移;依赖冲突时先分析依赖顺序。具体实现脚本、收费与平台细节暂未提供。