SuperAPI AI 工具集

databricks-python-sdk

数据与分析

查看项目

更新于 10-15 20:32

技能介绍

用途:为在 Databricks 平台上进行开发提供统一指引,涵盖 databricks-sdk、databricks-connect、Databricks CLI 以及直接调用 REST API 的方式。

主要能力:指导环境搭建(使用 .venv 或 uv 创建虚拟环境,Spark 操作安装 databricks-connect,SDK 操作安装 databricks-sdk,CLI 版本需不低于 0.278.0);配置认证(默认配置文件 ~/.databrickscfg、DEFAULT 配置文件、DATABRICKS_HOST 与 DATABRICKS_TOKEN 环境变量,以及 Azure 服务主体等);通过 DatabricksSession 在本地对集群运行 Spark 代码(注意不要设置 .master("local[*"));用 WorkspaceClient 调用集群、作业、SQL 仓库、语句执行、Unity Catalog 表/目录/Schema/卷、文件、模型服务端点、向量搜索、Pipelines 与 Secrets 等 API;SDK 未覆盖时通过 w.api_client.do 直接访问 REST 端点;使用 CLI 命令(如 databricks clusters list、databricks jobs list)。

必要用法:异步应用(FastAPI、asyncio)中 SDK 调用为同步阻塞,必须用 asyncio.to_thread() 包装;长时操作可用 *_and_wait 方法或 Wait 对象等待。

适用场景:需要在本地开发、调试并与 Databricks 工作区交互的数据与 ML 工程任务。

限制:文中的版本号、路径、配置文件名为资料给定事实;未提供收费、价格或平台支持范围的说明。