SuperAPI AI 工具集

csv-excel-merger

办公与效率

查看项目

更新于 10-16 02:38

技能介绍

用途:把多个 CSV、TSV、Excel 表格合并为一份干净输出,适用于同一类记录跨来源堆叠(如各月导出、多个线索表),或按同一实体补充不同字段(如联系人与其成交金额)。

主要能力:先用捆绑的 profiler 逐文件(Excel 按工作表)报告编码、分隔符、行数、表头、候选键和表头重叠,且不修改数据。该工具强调两类操作的区分:追加用 pd.concat 再去重;连接用 pd.merge 按键关联。合并前对各文件建立显式列名映射,并对键列做规范化(去空格、邮箱小写、电话去非数字、统一日期格式)。

必要用法:用 python scripts/profile_inputs.py file1.csv file2.xlsx 做输入分析;读取时以 dtype=str 保留前导零,CSV 用 encoding="utf-8-sig";追加后仅对非空键去重,空键单独保留;连接时用 validate(如 validate="one_to_one")防止重复键导致行数膨胀。写 CSV 用 to_csv(index=False, encoding="utf-8-sig"),写 Excel 用 to_excel(index=False) 并安装 openpyxl;非空时另写 conflicts_review.csv 或 unmatched.csv。

限制与注意:合并后必须校验行数关系并手工抽查被去重行;需留意连接行膨胀、前导零丢失、源文件已被 Excel 改写的长数字或日期、表头不在第一行、混合编码、单文件独有列被静默丢弃等问题;Excel 单表上限 1,048,576 行;超大文件建议用 chunksize、Polars 或 DuckDB。代码同时兼容 pandas 3.x 与 2.2。未被资料提及的收费、平台支持等暂未提供。