用途:为研究数据集构建系统化、可复现的数据清洗流程,覆盖数据质量问题识别、缺失值处理、异常值检测、数据完整性校验与清洗决策记录。
主要能力:推荐清洗顺序为初始评估、结构修复(列名标准化、数据类型修正、拆分合并列、删除全空行列)、去重(精确与模糊近重复)、缺失值处理、异常值检测与处理、一致性校验(跨字段、范围、引用完整性)、文档与导出。缺失值按 MCAR/MAR/MNAR 分类并选择插补或排除策略,可用均值、中位数、众数、KNN 或多重插补。异常值可用 IQR、z-score、马氏距离及领域规则识别,并决定修正、截断、删除或标记保留。提供质量报告生成、清洗日志记录(版本、前后行数、影响列)与清洗脚本导出,强调不修改原始数据、使用版本号、脚本化每一步、设定随机种子、在关键检查点保存中间数据集。
使用方式:以 Python 为主,配合 pandas、numpy、scikit-learn、scipy;按推荐顺序逐步执行并记录日志与版本。
适用场景:研究数据预处理、需要透明数据处理的论文补充材料与期刊可复现要求。
限制:不直接替代统计推断;MNAR 无法仅凭数据检验,需领域知识与敏感性分析;具体运行环境、依赖版本与安装命令暂未提供。