用途:把 HDInsight 上的 Spark 与 Hive 工作负载迁移到 Microsoft Fabric,覆盖上下文 API、存储路径、表格式、调度与配置的转换。
主要能力:SparkSession 与 Context API 变更(HiveContext、SQLContext、独立 SparkContext 均不再需要,Fabric 笔记本中 spark 与 sc 已预实例化);WASB/ABFS 路径迁移到 OneLake 快捷方式(abfss://workspace@onelake.dfs.fabric.microsoft.com/);Hive DDL 转为 Delta Lake 与 Lakehouse 架构;Oozie 动作映射为 Fabric 管道活动(spark→Notebook/SJD,hive→Script,shell→Azure Function/Web,sqoop→Copy Data,coordinator→计划或存储事件触发器);引入 notebookutils 做文件、密钥、子笔记本编排;Spark 配置从 spark-defaults.conf、hive-site.xml、bootstrap.sh 迁移到 Fabric Environment 与工作区设置。
使用方式:先阅读 COMMON-CORE.md、COMMON-CLI.md、SPARK-AUTHORING-CORE.md;笔记本与 Lakehouse 创建见 spark-cli,Warehouse DDL/DML 见 sqldw-cli。调用 api.fabric.microsoft.com 时每个请求(含 LRO 轮询与重试)必须带 x-ms-fabric-skill: hdinsight-migration,az rest 用 --headers "x-ms-fabric-skill=hdinsight-migration"。查找工作区或项 ID 时先列出再用 JMESPath 过滤。
限制:Fabric 无法直接读取或快捷方式 hdfs://,其管道 HDFS 连接器仅支持匿名认证,Kerberos 源需先导出或桥接到受支持存储;wasb:// 已弃用且需账户密钥或 SAS;HBase 无直接对应;Oozie shell 与 Java MapReduce 需重构;不要在生产笔记本用 %sh 做文件操作。具体收费、价格与平台细节暂未提供。