用途:这是 Databricks 的模式级(schema)异常检测监控能力,用于回答“管道是否中断、哪些表不健康”等数据可靠性问题,通过 Data Quality API(POST /api/data-quality/v1/monitors,公共预览)与 databricks.sdk.service.dataquality 模块使用。
主要能力:新鲜度分析提交历史,预测每张表的下次提交时间,异常延迟标记为 stale;完整性基于历史行数预测近 24 小时预期行数,低于下限标记 incomplete;智能扫描对齐表更新频率并按下游使用度优先;结果写入系统表 system.data_quality_monitoring.table_results。它不监视视图,完整性不评估空值比例、零值或 NaN,事件新鲜度当前版本不支持。
使用方式:UI 最简单——在 Catalog Explorer 进入模式,Details 选项卡点击 Data Quality Monitoring 下的 Enable 并保存。SDK 需先取模式 UUID(非三级名称),再创建 Monitor 对象并设置 object_type="schema"、object_id=schema_id、AnomalyDetectionConfig(可含 excluded_table_full_names 排除表);禁用调用 w.data_quality.delete_monitor,会删除所有监控数据且不可撤销。结果查询需对系统表有 SELECT 权限。
适用场景:与 Lakehouse Monitoring 互补——异常检测负责基线可靠性,自定义 AGGREGATE/DERIVED/DRIFT 指标负责业务 KPI。可由 Silver/Gold 层设置编排器自动调用,每个新模式默认启用。启用需 MANAGE SCHEMA 或 MANAGE CATALOG 权限;系统表默认仅账户管理员可访问,授予权限时要谨慎,因其含所有被监控表的样本值。