用途:为 Databricks 项目搭建快速、可复现的本地开发流程,覆盖从环境配置、测试到部署的完整循环。
主要能力:初始化分层项目结构(src/pipelines 的 bronze/silver/gold、tests、notebooks、resources);安装本地开发工具;配置 Databricks Connect v2 连接远程集群;创建 databricks.yml Asset Bundle 并定义 dev/staging/prod 目标;设置基于 pytest 的单元与集成测试;配置 VS Code 调试与解释器环境;使用 Asset Bundle 部署与运行作业;用 dbx 或 bundle 实现热重载同步。
前置条件:需完成 databricks-install-auth 设置;Python 3.8+ 与 pip;VS Code 或 PyCharm;可用的运行中集群。
必要命令(保留原样): pip install databricks-sdk databricks-cli pip install dbx pip install databricks-connect==14.3.* pip install pytest pytest-cov databricks-connect configure databricks bundle validate databricks bundle deploy -t dev databricks bundle run -t dev my-job dbx sync --watch databricks bundle sync -t dev --watch pytest tests/unit/ -v pytest tests/integration/ -v --tb=short pytest tests/ --cov=src --cov-report=html
使用方式:先建项目结构并安装工具,再配置 Databricks Connect(命令行或环境变量 DATABRICKS_HOST、DATABRICKS_TOKEN、DATABRICKS_CLUSTER_ID),编写 databricks.yml,配置 conftest.py 提供本地与远程 SparkSession 夹具,最后在 IDE 中调试并部署。
常见错误处理:集群未启动需先启动;版本不匹配需使 databricks-connect 与 DBR 版本一致;模块缺失运行 pip install -e .;连接超时检查 VPN 与防火墙;会话重复用 getOrCreate()。
限制:文中未提供收费、价格、平台限制等具体信息。