SuperAPI AI 工具集

databricks-python-sdk

编程与开发

查看项目

更新于 10-15 20:33

技能介绍

用途:为使用 Databricks 平台进行开发提供统一指引,涵盖 Python SDK(databricks-sdk)、Databricks Connect、Databricks CLI 与 REST API,适合在本地编写 Spark 代码、管理集群与作业、执行 SQL、操作 Unity Catalog 及调用模型服务等场景。

主要能力:文档按 API 面组织,包括 Clusters、Jobs、SQL Warehouses、Statement Execution、Catalogs/Schemas/Tables/Volumes、Files、Serving Endpoints、Vector Search、Pipelines、Secrets 与 DBUtils,并给出方法签名索引与示例目录。

使用方式:环境上可使用已有 .venv 或用 uv 创建;Spark 操作用 uv pip install databricks-connect,SDK 操作用 uv pip install databricks-sdk;CLI 版本需 0.278.0 或更高。配置默认 profile 为 DEFAULT,配置文件为 ~/.databrickscfg,也支持 DATABRICKS_HOST、DATABRICKS_TOKEN 环境变量。Spark 侧通过 DatabricksSession.builder.getOrCreate() 获取会话,注意不要设置 .master("local[*]")。SDK 侧用 WorkspaceClient() 自动读取凭据,也支持显式 token、Azure 服务主体或命名 profile。SDK 未覆盖的接口可用 w.api_client.do 直接调用 REST API。

限制与注意:SDK 为完全同步实现,在 FastAPI、asyncio 等异步应用中必须用 asyncio.to_thread() 包装调用,避免阻塞事件循环;长时操作可用 *_and_wait 方法或 Wait 对象;列表方法返回自动分页的迭代器;错误处理可捕获 NotFound、PermissionDenied、ResourceAlreadyExists 等异常。文档未提供收费、价格或平台支持范围等信息。