SuperAPI AI 工具集

data-validation-first

数据与分析

查看项目

更新于 10-16 04:58

技能介绍

用途:该技能用于在任何数据分析、转换或建模开始前,先对数据做检查与校验,确保理解数据本身后再写分析代码,避免基于脏数据或误解得出错误结论。

主要能力与建议步骤:先运行基础检查命令,例如 df.shape 查看行数与列数、df.dtypes 查看列类型、df.isnull().sum() 统计每列缺失值、df.describe() 查看数值列统计信息、df.head() 预览样本行。随后回答关键问题:将用于连接或筛选的列是否存在空值;数值列是否被存成字符串(需用 parse_dates、astype 处理);是否存在意外重复(检查主键唯一性);行数是否与数据源的预期一致。

使用方式:在编写 groupby、sum 等分析逻辑之前,先执行上述检查,把数据校验作为分析流程的第一步。

适用场景:探索性数据分析、数据清洗、特征处理、建模前的数据准备等需要先确认数据质量的环节。

限制与反模式提示:资料明确指出的反模式是在未检查 groupby 键是否存在空值的情况下直接运行 .groupby().sum()。其余具体实现细节、依赖或平台支持情况暂未提供。