SuperAPI AI 工具集

snowflake-data-quality-sentinel

数据与分析

查看项目

更新于 10-15 23:29

技能介绍

用途:该技能用于评估 Snowflake 数据度量函数覆盖和期望证据,判断数据质量监控配置与历史观测是否可信,全程不读取客户数据行。需要 Python 3.10+、负责人批准的策略文件,以及具备最小权限配置的 Snowflake CLI 配置文件。

主要能力:分别输出配置状态、历史观测状态和历史完整性状态三类结论,保留完整性、覆盖率、评估口径计数、回执哈希和固定非声明;缺失或不可信证据不会被判定为通过。

使用方式:先按对象采集有界历史回执、关联回执、期望回执,以及在 notification_required 为真时的通知回执。采集使用 collect_snowflake_evidence.py,并指定 --surface、--connection、时间窗口或对象选择器及输出文件。随后在各自可信边界独立记录证据与策略摘要,再用 analyze_data_quality.py 传入 evidence.json、policy.json、--evaluated-at、--trusted-input-sha256 和 --trusted-policy-sha256 进行分析。策略中的 analysis_as_of_utc 必须等于 --evaluated-at,防止旧策略被重放。

适用场景:需要审计 Snowflake 数据质量监控覆盖、关联与期望配置、通知配置以及历史监控完整性的治理场景。

限制:分析器和采集器为只读;任何修复请求默认只生成 dry-run 变更提案,除非另行授权。期望违规为 false 只表示 SATISFIED_OBSERVATION,不表示质量通过;无匹配结果为 DQ_NO_EVALUATION,true 表示违规,null 表示评估失败。Snowflake 未对历史面提供最终性 SLA,因此历史完整性状态保持 UNPROVEN_NO_PROVIDER_SLA,pass_supported 为 false,settled_through_utc 为 null。定义、计划、角色、过滤器、对象域、分组或分组限制发生漂移会阻止健康结论。变更触发的新鲜度和分组结果完整性在单独审查证据证明之前保持不确定。异常目标在存在独立可信异常面之前保持不确定,不能从关联配置推断异常健康。通知 ENABLED 只证明配置,投递始终为 NOT_OBSERVED。缺失面、过期或混合上下文、上限、截断、无效 schema、重复、离线回执或信任不匹配都会抑制分类。退出码 2 为固定通用输入格式错误;evidence_integrity_status=INVALID 表示信任或回执检查失败,需重新采集。权限被过滤的通知证据是可见性缺口,不等同于配置已禁用;版本或权限失败不会授权自动提升角色。具体版本、价格和平台支持信息暂未提供。