SuperAPI AI 工具集

alibabacloud-migration-lhm-migrate-hive-to-paimon

数据与分析

查看项目

更新于 10-16 04:59

技能介绍

用途:将 Hive 数据迁移到阿里云 DLF Paimon,覆盖存量迁移与增量迁移全流程,属于湖仓迁移套件的一部分,建议以 migration-lhm-inspect-hive-metastore 的探查输出作为输入。

主要能力:存量迁移由 main.py 编排五步——生成 Paimon 内表 DDL、生成外表 DDL、执行建表 DDL、rclone 同步 HDFS 到 OSS、INSERT OVERWRITE 装载;增量迁移由 incremental_migrate.py 执行 DDL→rclone→DML 三阶段流水线。另含独立 DDL 转换器 scripts/ddl_converter/cli.py,支持 paimon/ext/both 三种模式与 SERDE 自动格式识别,无需数据库连接。

使用方式:先编辑 config.ini 填写 Metastore、HDFS、OSS、Spark Thrift 连接信息,再运行,例如 python main.py -e /path/to/explore/ -c config.ini;可用 -d 指定库、-t 指定表,--dry-run 预览,--direct-read 用于 OSS-HDFS(DLS) 源并跳过 rclone,--start-step/--skip-steps 支持断点续跑。依赖 Python 3.7+、rclone ≥1.60、配置 Paimon Catalog 的 Spark EMR(≥3.5.2),Python 依赖 pip install "pyhive[hive]>=0.7,<0.8" thrift thrift_sasl。

限制:该技能会执行生产数据写入与覆盖,INSERT OVERWRITE 不可逆,--force 会先 DROP 再重建,须先 dry-run 并人工确认;凭据不得提交到版本库,建议用环境变量注入;默认 rclone 并发 64 可能压垮源集群,生产环境应先用低并发评估;--direct-read 仅适用于 OSS-HDFS(DLS) 源。已验证平台为 Claude / Qoder / OpenCode / Codex,其他平台未做兼容性测试。具体收费与价格信息暂未提供。