SuperAPI AI 工具集

databricks-python-sdk

数据与分析

查看项目

更新于 10-15 20:32

技能介绍

用途:为使用 Databricks Python SDK、Databricks Connect、CLI 和 REST API 的开发工作提供指导,帮助在本地编写并运行与 Databricks 工作区交互的代码。

环境与配置:可使用已有 .venv 或用 uv 创建环境;Spark 操作安装 uv pip install databricks-connect,SDK 操作安装 uv pip install databricks-sdk;Databricks CLI 版本需不低于 0.278.0。默认 profile 为 DEFAULT,配置文件 ~/.databrickscfg,也可用环境变量 DATABRICKS_HOST、DATABRICKS_TOKEN。认证支持环境变量自动识别、显式 token、Azure 服务主体以及命名 profile。

主要能力:通过 DatabricksSession.builder.getOrCreate() 在本地对集群运行 Spark 代码(注意不要设置 .master("local[*"));通过 WorkspaceClient 调用 clusters、jobs、warehouses、statement_execution、tables、catalogs、schemas、volumes、files、serving_endpoints、vector_search_indexes、pipelines、secrets 等 API,也可用 w.api_client.do 直接访问尚未封装或实现复杂的 REST 端点。CLI 常用命令如 databricks clusters list、databricks jobs list、databricks workspace ls 等。

常用模式与限制:SDK 为全同步,在 FastAPI、asyncio 等异步应用中必须用 asyncio.to_thread() 包装调用,避免阻塞事件循环;长耗时操作可选用 *_and_wait 方法、Wait 对象或带回调的轮询;列表方法返回迭代器并自动分页;错误处理可捕获 NotFound、PermissionDenied、ResourceAlreadyExists 等异常。官方文档按 /workspace/{category}/{service}.html 与 /account/{category}/{service}.html 的 URL 规律组织,不确定参数或返回类型时应先查阅文档。

适用场景:本地 Spark 开发调试、工作区资源管理、作业与流水线调度、SQL 查询执行、Unity Catalog 元数据与卷操作、模型服务调用与向量检索、密钥管理等。资料未说明收费、价格或性能指标。