SuperAPI AI 工具集

databricks-observability

数据与分析

查看项目

更新于 10-15 22:42

技能介绍

用途:为 Databricks 工作区搭建可观测性,覆盖作业运行、集群利用率、查询性能与成本,并支持告警与指标外发。

主要能力:基于 system 目录下的系统表(审计日志、计费、计算、查询历史)与集群实时 Ganglia 指标进行监控。可查询失败作业及错误详情、按集群统计 DBU 消耗与预估成本、识别慢查询,并通过 Databricks SQL 告警在作业失败次数超阈值时通知 Slack 或邮件;也可用 Databricks SDK 将集群指标推送到外部监控栈(如 Prometheus pushgateway)。

使用方式:需 Databricks Premium 或 Enterprise 且启用 Unity Catalog,并具备 system.billing、system.compute、system.access 目录访问权限,以及用于运行监控查询的 SQL 仓库或集群。典型步骤为:用 SQL 查询 system.lakeflow.job_run_timeline 检查作业健康,用 system.billing.usage 统计成本,用 system.query.history 分析慢查询,在 Databricks SQL 中创建告警,最后通过 SDK 导出指标。

限制与注意事项:系统表为空通常因未启用 Unity Catalog;查询历史可能缺少 serverless 仓库记录,需改用经典 SQL 仓库或检查保留期;计费数据存在最长约 24 小时延迟,适合趋势分析而非实时告警;集群终止后指标可能出现缺口,可查审计日志中的终止事件。具体配置细节与完整代码以官方资料为准,本资料未提供更多平台与价格信息。