SuperAPI AI 工具集

data-validation

数据与分析

查看项目

更新于 10-16 02:29

技能介绍

该技能用于在把分析结果分享给利益相关方之前做质量把关,包含方法论检查、准确性验证与偏差检测。

主要能力:提供交付前 QA 清单,分为数据质量检查(来源核实、新鲜度、完整性、空值处理、去重、过滤条件验证)、计算检查(聚合逻辑、分母正确性、日期对齐、JOIN 正确性、指标定义、小计求和)、合理性检查(量级、趋势连续性、交叉引用、数量级、边界情况)和呈现检查(图表准确性、数字格式、标题清晰度、假设透明、可复现性)。

常见陷阱部分覆盖 JOIN 爆炸、幸存者偏差、不完整周期对比、分母漂移、平均值的平均、时区不匹配、细分选择偏差,并给出检测 SQL 示例(保留原样):SELECT COUNT() FROM table_a; 与 SELECT COUNT() FROM table_a a JOIN table_b b ON a.id = b.a_id; 以及计数实体时用 COUNT(DISTINCT a.id) 替代 COUNT(*)。

结果合理性检查包含量级核对、交叉验证技巧(两种算法互验、抽记录手工追溯、对比已知基准、反向推算、边界检查)与需调查的红旗信号(环比变化超 50% 无解释、整数凑整、比率恰为 0% 或 100%、结果完美验证假设、跨期跨段数值完全相同)。

文档规范提供分析文档模板(问题、数据源、定义、方法、假设与限制、关键发现、SQL 查询、注意事项)及代码文档字符串示例、版本控制建议。

限制:资料未提供安装命令、平台支持、收费方式与具体执行环境;该技能以人工检查清单与规范为主,不包含自动化执行步骤。