用途:在用户需要数据质量检查、验证或结果核验时调用,确保数据完整性、分析准确性与结果可靠性。
主要能力:一、数据质量维度:完整性(缺失值分析)、唯一性(重复检测与处理)、有效性(格式与取值校验)、一致性(跨源检查)、准确性、及时性。二、验证技术:统计验证(分布分析、异常值检测)、业务规则验证、跨源交叉验证、引用(外键与关系)验证、范围与边界检查。三、分析质量:统计结果交叉核对、敏感性分析、可复现性、方法学验证。
使用方式:技能内置数据质量清单,覆盖缺失值、重复值、数据类型、数值范围、分类值、逻辑一致性、跨表一致性、日期时间格式等检查项;统计验证示例使用 scipy.stats 做相关性验证并给出 p_value 与显著性判断,使用 Bootstrap 计算置信区间。输出为质量报告,含完整性评估(总记录数、缺失值、重复记录)、有效性评估(数据类型、数值范围、分类唯一值)、一致性评估(跨表、逻辑)、质量评分。
适用场景:数据质量校验、分析准确性验证、结果交叉验证、业务规则校验、数据一致性检查、统计结论核验。
协作与语言:可与其他技能配合,如 data-explorer 获取质量洞察、hypothesis-generator 验证假设检验、report-writer 将质量评估写入报告;输出默认使用中文。
限制:仅依据本资料整理,具体命令、依赖安装、配置项、支持的数据源与平台、收费方式等暂未提供;示例代码需按实际数据环境调整。