用途:在 Databricks 上运行代码并管理计算资源,按工作负载选择执行模式。主要能力:Databricks Connect 适合 Spark 代码(ETL、数据生成),启动即时,状态保存在 Python 进程内,语言为 Python(PySpark),依赖用 withDependencies();Serverless Job 适合重型处理(如 ML),冷启动约 25–50 秒,无状态,支持 Python、SQL,依赖通过 CLI 环境规格配置;Interactive Cluster 适合跨工具调用保持状态及 Scala/R,停止后启动约 5 分钟,通过 context_id 保持状态,支持 Python、Scala、SQL、R,依赖需在集群上安装。选择流程:Spark 代码优先 Databricks Connect(若缺 Python 3.12 则安装它和 databricks-connect;安装失败应询问用户而非自动切换模式);重型或长任务用 Serverless Job;需跨调用保持状态或使用 Scala/R 时用 Interactive Cluster,并先列出集群询问用户选用哪个。使用方式:Databricks Connect 无 MCP 工具,本地运行,例如 python my_spark_script.py;Serverless Job 调用 execute_code(file_path="/path/to/script.py");Interactive Cluster 先 list_compute(resource="clusters") 检查运行中集群并询问用户,再 execute_code(code="...", compute_type="cluster", cluster_id="..."),后续调用复用返回的 context_id 与 cluster_id。MCP 工具:execute_code 用于无服务器与交互式远程运行代码;list_compute 用于列出集群、检查状态并自动选择运行中集群;manage_cluster 用于创建、启动、终止、删除,注意启动耗时 3–8 分钟且成本高,需询问用户;manage_sql_warehouse 用于创建、修改、删除 SQL 仓库。相关技能包括数据合成生成、生产作业编排和 SQL 仓库与 AI 函数。限制:资料未提供定价、配额、权限要求、支持区域或具体 API 限制。
databricks-execution-compute
数据与分析
更新于 10-15 20:32