SuperAPI AI 工具集

databricks-2025

数据与分析

查看项目

更新于 10-15 23:41

技能介绍

用途:整理 Azure Data Factory(ADF)与 Databricks 在 2025 年的集成模式,重点指导如何用 Databricks Job 活动替代旧版 Notebook、Python、JAR 活动来编排 Databricks 工作流,并汇总连接器与托管标识的最新变化。

主要能力:

  • Databricks Job 活动:推荐使用活动类型 DatabricksJob,参数属性写 jobParameters,链接服务认证用托管标识("authentication": "MSI");不要在链接服务里配置集群属性,计算由 Databricks Job 控制。相较旧版 Notebook 活动,支持默认无服务器计算、多任务 DAG、任务级与作业级重试、仅重跑失败任务、Git 集成与数据血缘等。
  • 连接器增强:ServiceNow V1 已结束支持,需迁移到 ServiceNowV2(链接服务类型 ServiceNowV2,源类型 ServiceNowV2Source);增强 PostgreSQL(enableSsl: true、sslMode: "Require")、Snowflake(KeyPair 认证与 Key Vault 集成);Azure 表存储与 Azure 文件支持托管标识。
  • 映射数据流使用 Spark 3.3,带来更快的处理、自适应查询执行等。
  • 托管标识:单工厂简单场景用系统分配,多工厂、多环境或需细粒度权限时用用户分配;可用凭据功能统一管理。自 2025 年 10 月起强制 MFA,托管标识不受影响。

使用方式:按 2025 最佳实践停止使用 Notebook、Python、JAR 活动,改为在 Databricks 工作区定义作业;为 Azure 资源统一使用托管标识;跟踪作业运行 ID、记录参数并设置失败告警;数据流开启 AQE。完整 JSON 示例见仓库内 references/databricks-job-examples.md 与 references/connector-examples.md。

限制:具体配置细节以官方文档与示例文件为准;此处未提供代码完整示例与未提及的定价、平台细节。