用途:在 Databricks 上开发与部署 Lakeflow Jobs,支持通过 Declarative Automation Bundles(DABs)、Python SDK 或 CLI 管理数据工程作业。使用前建议先参考父级 databricks-core 技能了解 CLI 基础、认证、配置文件选择与数据探索命令。
主要能力:支持多任务 DAG(含 depends_on 与 run_if 条件)、多种任务类型(notebook、Python 脚本/wheel、SQL、dbt、pipeline、JAR、run_job、for_each)、多种触发器(cron schedule、periodic、file_arrival、table_update、continuous)、通知与监控、重试与超时、作业参数、权限配置及单元测试。任务可用 job_clusters 共享集群、自动伸缩、已有集群或无服务器计算(notebook 与 Python 任务省略集群配置即可)。
使用方式:可用 databricks bundle init default-python --config-file <(echo '{"project_name": "my_job", "include_job": "yes", "include_pipeline": "no", "include_python": "yes", "serverless": "yes"}') --profile <PROFILE> < /dev/null 脚手架项目;用 databricks bundle validate、databricks bundle deploy -t dev、databricks bundle run <job_name> -t dev 完成验证、部署与运行;也可用 Python SDK 的 w.jobs.create/run_now 或 CLI 的 databricks jobs create/run-now/list/get 操作作业。作业参数通过 dbutils.widgets.get() 在 notebook 中读取。
适用场景:创建含 notebook、Python wheel、SQL 的数据工程作业,编排 ETL、仓库刷新、事件驱动、ML 训练、多环境、流式及跨作业流程。
限制:任务不支持的功能需参考对应文档;serverless 仅支持 notebook 与 Python 类任务;不能修改 admins 组权限;资料未提供具体收费、价格与效果数据。