SuperAPI AI 工具集

data-quality-monitoring

数据与分析

查看项目

更新于 10-15 21:40

技能介绍

用途:为数据管道提供质量保障,在问题数据被下游看到之前检测并处置。

主要能力:围绕完整性、一致性、及时性、准确性、唯一性五个维度定义质量检查。包括基于滚动基线与 Z-Score 的行数异常检测,并按偏差划分严重级别(CRITICAL >50%、HIGH >25%、MEDIUM >10%、LOW ≤10%);模式漂移检测(缺失列、新增列、类型变更);按列阈值的空值率监控;数据新鲜度检查(max_age_hours 判断 FRESH/STALE);以及安全写入防护,阻止空数据覆盖、大幅下降和低于最小行数的写入。

使用方式:以函数调用形式集成到管道中,例如 check_row_count(source, current_count, expected, stddev, threshold_pct)、detect_schema_drift(actual_cols, expected_cols, strict)、check_null_ratios(columns, total_rows, thresholds)、check_freshness(latest_timestamp, max_age_hours)、safe_write(current_count, existing_count, min_rows, max_drop_pct)。safe_write 返回失败列表,空列表表示可安全写入。可用 generate_quality_report 汇总各项检查生成报告,并用 update_baseline 依据最近窗口更新滚动基线。

适用场景:需定期运行的数据管道质检、生产表写入前的守卫、时序敏感数据的时效告警,以及将告警接入邮件、Slack 或 PagerDuty。

限制:资料未提供安装命令、依赖要求、具体运行平台与收费信息,均暂未提供;示例代码为参考实现,需按实际环境适配。