用途:把 MATLAB 连接到 Databricks,提供 Spark(Databricks Connect)与 JDBC(Database Toolbox)两条路径,覆盖首次安装、认证、路径选择、会话/连接创建与数据操作。
主要能力:Spark 路径可用 getDatabricksSession() 创建会话(含 serverless=true 无集群会话),用 spark.read().table() 读 Unity Catalog 表、spark.read.format().load() 读 Volumes 文件,支持 filter/select/limit/withColumn 等服务端操作,table(DF) 转 MATLAB table,table2dataset 回写,DF.write.mode().format().saveAsTable() 写表。JDBC 路径可用 databricks.JDBCConnection()、StandaloneJDBCConnection()(无需完整包)、databricks.SQLWarehouse.connect() 建连,配合 sqlread/fetch/sqlwrite 使用,支持 saveSource() 与 Database Explorer。
使用方式:从包的 Software/MATLAB 目录运行 setup 与 startup;Spark 需 pip 安装 Databricks Connect 到 venv(Python 3.10-3.12),并让 pyenv 指向该 venv;认证通过 .databrickscfg 或环境变量,显式传 authMethod。
适用场景:大数据表需服务端过滤、DataFrame 变换、读 Volumes 文件时选 Spark;中小数据集 SQL 查询、Database Toolbox 工作流、无完整包时选 JDBC。
限制:不适用于已建连后的通用 Database Toolbox 操作、ODBC、Databricks REST API、MLflow、DuckDB、Databricks 笔记本/CLI/Python SDK 及纯 PySpark。Spark 会话需匹配 Python 版本,OSS 驱动需 Java 11+,集群上浏览器 OAuth 不可用需 useDriverAuth=false,切勿硬编码令牌,JDBC 用完须 close(j)。