SuperAPI AI 工具集

data-quality-auditor

数据与分析

查看项目

更新于 10-15 17:28

技能介绍

用途:这是一个面向数据质量审计的技能,适用于数据管道、数据仓库与存储。它审计导向而非管道设计导向;若需管道设计、ETL、Spark/dbt 实现,应先使用 engineering/senior-data-engineer。

主要能力:覆盖六大 DQ 维度(完整性、准确性、一致性、时效/新鲜度、有效性、唯一性,另可扩展完整性引伸的参照完整性、合规性、合理性),生产阶段每个维度至少一项检查。提供约 50 种检查模式,分五类(量、新鲜度、schema、值、分布)。支持 schema 漂移检测(对比基线快照,标注新增/删除/变更列、类型与序号及严重度)、新鲜度 SLA 监控(按表最大年龄预算并输出告警就绪结果)、DQ 事件响应(Sev1-4 分级与 7 步处置手册)、以及五级成熟度模型和反模式目录。

必要用法:先确认数据集与目标、要执行的检查类型、阈值与 SLA。脚本均为纯标准库 argparse CLI,示例:python scripts/dq_check_runner.py --data t.json --checks checks.json --format json;python scripts/schema_drift_detector.py --baseline base.json --current cur.json;python scripts/freshness_monitor.py --data t.json --column updated_at --max-age-min 60。输出支持 JSON 或人类可读格式。

适用场景:新管道从零建立 DQ、审计已有管道缺失检查、检测上游 schema 漂移、监控数据资产新鲜度、响应生产环境坏数据事件、设计 DQ 治理、为 SOC 2 PI1、GDPR 准确性、ISO 27001 提供可审计证据。

限制:不覆盖管道设计、ETL、dbt/Spark 实现;不直接查询实时数据库,脚本仅读 JSON 输入或模拟,生产集成需自行接入数据库驱动(psycopg、mysqlclient、google-cloud-bigquery 等)。价格、平台支持等资料暂未提供。