用途:该技能用于处理任何 Databricks Jobs 相关任务,包括创建、列出、运行、更新、删除作业,以及配置任务类型、触发器、通知和监控。作业以多任务 DAG 编排数据工作流,支持灵活触发与综合监控。
主要能力:支持多任务工作流与 DAG 依赖,run_if 条件包括 ALL_SUCCESS、ALL_DONE、AT_LEAST_ONE_SUCCESS、NONE_FAILED、ALL_FAILED、AT_LEAST_ONE_FAILED。任务类型涵盖 notebook_task、spark_python_task、python_wheel_task、sql_task、dbt_task、pipeline_task、spark_jar_task、run_job_task、for_each_task。触发器支持 schedule(Cron)、trigger.periodic、trigger.file_arrival、trigger.table_update 及 continuous 常驻作业。计算配置支持作业集群、自动扩缩容集群、已有集群,以及 notebook 和 Python 任务的无服务器计算。还支持作业参数、权限管理(CAN_VIEW、CAN_MANAGE_RUN、CAN_MANAGE)。
使用方式:可通过 Python SDK(如 w.jobs.create、list、get、run_now、cancel_run、delete)、CLI(databricks jobs create/list/get/run-now/cancel-run/delete)或 Asset Bundles(resources/jobs.yml,配 databricks bundle validate/deploy/run/destroy)。作业参数在 notebook 中通过 dbutils.widgets.get() 获取。
适用场景:构建 ETL 数据管道、定时调度、文件到达或表更新触发的作业、跨作业触发、循环任务等。
限制:官方文本与介绍未提供价格、收费或具体平台可用性细节,暂未提供相关说明。常见问题包括作业集群启动慢、任务依赖失效、调度未触发、参数不可访问等,资料给出对应排查建议。