用途:面向 Excel/CSV 表格的格式清洗与预处理,适用于打开乱码、外部导入数据不规范、分析前自动清洗等场景。
主要能力:
- 编码乱码修复:用 chardet 检测编码后读取,另存为 UTF-8(utf-8-sig)。
- 合并单元格拆分:用 openpyxl 记录合并区域,取消合并后向下填充左上角值。
- 重复表头检测:检查前几行与列名的匹配比例,超过半数则删除该行。
- 数据类型不一致:用 pd.to_numeric 判断列内非数字值占比,识别混入文本的数字列。
- 一键修复流程:读取文件后依次处理重复表头、类型问题、空行空列(dropna、去除 Unnamed 列),并生成修复报告。
- 分类列文本标准化:去首尾空格,合并近似重复值(如“华东”与“华东地区”),保留较短值。
使用方式:以 Python 脚本调用上述函数,按文件类型(.csv 或 .xlsx)选择对应处理路径,最终返回 DataFrame 与问题报告。
输出规范:修复前先展示检测到的问题清单;删除行/列等重大修改需 HITL 确认;修复后保存为新文件,不覆盖原文件;展示修复报告并打印清洗后行数,便于确认未误删数据;分类列必须标准化。
限制:资料未提供具体安装命令、依赖版本、支持的文件规模、性能指标或收费信息,暂未提供。