SuperAPI AI 工具集

observability-setup

部署与运维

查看项目

更新于 10-16 06:52

技能介绍

用途:该技能是 Databricks 可观测性搭建的端到端编排器,在已完成的 Gold 层(最低要求,最好已有语义层)之上,统一配置 Lakehouse Monitoring、异常检测、AI/BI 仪表板与 SQL 告警。初次搭建预计 3-5 小时,之后每增加一张表或一个仪表板约 30 分钟。

主要能力:按 5 个阶段实施。阶段 0 读取计划清单 plans/manifests/observability-manifest.yaml,若文件缺失必须停止并先运行 planning/00-project-planning(阶段 5)。阶段 1 创建 Lakehouse Monitor,支持 TimeSeries 或 Snapshot 类型与自定义业务指标;阶段 2 通过 Data Quality API 启用模式级新鲜度与完整性异常检测;阶段 3 创建 Lakeview AI/BI 仪表板;阶段 4 创建配置驱动的 SQL 告警并按严重级别路由通知。

使用方式:严格按清单驱动,只创建清单中列出的工件,不做自行发现扩展。使用前必须阅读并遵循相关技能模式:common/databricks-expert-agent、common/databricks-python-imports、common/databricks-asset-bundles、common/databricks-autonomous-operations 及 monitoring 下 01-04 各技能。异常检测需用 w.schemas.get() 取得 schema UUID 作为 object_id,并包裹在 Monitor(object_type="schema", ...) 中调用 w.data_quality.create_monitor()。仪表板须设置 dataset_catalog/dataset_schema;告警查询使用全限定表名;监控任务使用 serverless 配置。每阶段后保存简要摘要,仅保留当前阶段工作技能、工件清单与上一阶段摘要。

适用场景:仅需单项能力时可直接读对应 monitoring 子技能;需要端到端搭建时使用本编排器。

限制:强依赖 observability-manifest.yaml,无清单不可实施;不得自行新增监控、仪表板或告警;workshop 模式下工件数量受清单上限约束;异常检测首次扫描需 15-30 分钟,结果出现在 system.data_quality_monitoring.table_results。具体收费、价格与平台差异暂未提供。