SuperAPI AI 工具集

analyze-data-quality

数据与分析

查看项目

更新于 10-16 07:28

技能介绍

用途:判断数据集是否可信到可用于分析、建模、仪表盘、实验或下游管道。先明确预期用途与数据粒度,再针对数据形态运行高价值检查,输出具体证据、分析风险、可能原因以及最小可用的修复或自动化测试建议。

主要能力:覆盖完整性(空值率、哨兵值)、唯一性(重复行、主键/复合键重复)、有效性(类型、格式、范围、枚举)、一致性(跨字段规则、单位、状态与时间戳)、完整性(父子键覆盖、孤儿记录、连接膨胀)、时效性(新鲜度滞后、缺失分区、回填)、量与形态(行数漂移、分布漂移、类别占比变化)。可按数据形态适配:事件数据、维度表、事实表、ML 特征或评分表、实验数据。支持时间与分布诊断,如首次/末次出现日期、空值率趋势、重复率趋势、变点检测。

使用方式:先澄清质量问题和运行上下文,建立数据集含义、分析单元、下游用途与对比基线;缺失上下文时谨慎推断并标注假设。需要 SQL 或 Python 检查时默认使用配套 notebook,便于用户查看发现背后的确切代码;可借助 $jupyter-notebooks 搭建或重构 notebook。对可查询表,先用 ~~structured_data 确认 schema、粒度、样本行与查询规则;需要新鲜度与血缘时用 ~~operations_logs。先构建紧凑画像(行数、列数、类型、候选键、重复率、时间范围、空值率、基数、数值摘要),确认粒度后再解释异常。随后运行核心质量检查与形态特定检查,有历史时运行时间与分布检查。将每个问题关联到下游风险,并给出最小修复、监控或自动化测试建议。面向利益相关方的质量工作,默认将发现交给 $build-report 生成 MCP 应用或 HTML 报告。

适用场景:检查数据是否可信、排查“某日期后突然出现”的异常、验证连接覆盖、评估特征泄漏或回填影响、为关键表设计自动化测试。

限制:不用于定义或重设计 KPI 框架(用 $design-kpis),也不用于对分析、图表、报告或建议做 QA(用 $validate-data)。不要只倾倒原始画像输出而不解释;自动化测试仅建议规则稳定、重要且可维护时使用;对易变产品指标的硬编码分布阈值、脏实体解析场景的严格唯一性、以及迟到数据正常时的近期分区需谨慎。严重度分为 Critical、High、Medium、Low。输出结构包括数据集与粒度摘要、执行的检查、发现、时间或趋势异常、可能原因与受影响用例、建议修复或自动化测试、假设与开放问题;每条发现需含失败内容、证据、重要性、严重度与置信度、可能原因、建议修复或测试。代码产生发现时需包含或保存含关键 SQL 与 Python 检查的 notebook 并便于找到路径。