用途:面向 Databricks Lakehouse Monitoring 的数据剖析(Data Profiling)监控,在 Gold 层表上定义表级自定义业务指标,跟踪数据质量、检测漂移并支持业务 KPI 监控;与异常检测(自动新鲜度/完整性检查)互补,可同时使用。
主要能力:支持自定义业务 KPI(如收入、速度)、周期对比漂移(DRIFT 指标)、单表深度剖析与 ML 模型监控(InferenceLog);提供约 2 小时快速流程:设计(30 分钟,参考 metric-design-guide.md)、配置(30 分钟,运行 scripts/create_monitor.py)、等待初始化(15-20 分钟,异步)、验证(15 分钟,查询 _profile_metrics 与 _drift_metrics 表)。
必要用法与关键规则:SDK 模块须用 databricks.sdk.service.dataquality,而非旧版 catalog;create_monitor() 接收 Monitor 对象(object_type="table"、object_id 为表 UUID、data_profiling_config);自定义指标须用 DataProfilingCustomMetric 对象而非字典;output_data_type 必须为 T.StructField("output", T.DoubleType()).json() 格式;DERIVED 指标直接引用聚合指标名,不加 {{ }};DRIFT 指标必须使用窗口模板,如 {{current_df}}.daily_revenue - {{base_df}}.daily_revenue;粒度使用 AggregationGranularity 枚举;输出 schema 使用 UUID(output_schema_id);删除监控时需同时 DROP 输出表。
适用场景:需要自定义业务 KPI、周期漂移检测、单表深度剖析或 ML 模型监控的 Databricks 数据团队。
限制:API 处于 Public Preview(POST /api/data-quality/v1/monitors);监控初始化异步,首次刷新需等待 15-20 分钟;资料未提供收费、价格与平台支持范围等信息。