SuperAPI AI 工具集

csv-wrangler

编程与开发

查看项目

更新于 10-16 00:03

技能介绍

用途:csv-wrangler 面向真实世界中格式混乱的 CSV 文件,提供一套可复用的处理模式,帮助读取、清洗并进一步转换为数据库结构。

主要能力:编码检测(使用 chardet 采样并配合 utf-8、latin-1、cp1252 回退链);分隔符推断(csv.Sniffer 或统计 , ; \t | 出现次数);畸形行处理(按列数校验,将异常行单独收集,或使用 pandas 的 on_bad_lines='skip'/'warn');带引号字段与内嵌分隔符处理;表头行检测(跳过顶部元数据行);日期列推断与多格式解析;数值清洗(去除货币符号、逗号、空白,处理括号负数);列名规范化;Excel 读取与工作表列举;以及 CSV 到 SQL 的转换,包含类型映射、PostgreSQL/MySQL/SQLite 建表与导入语句、Python 分块加载脚本和主键、外键、非空、唯一、CHECK 约束的自动检测建议。

使用方式:以 Python 为主,依赖 pandas、chardet、csv、re、sqlalchemy、openpyxl 等库。典型流程是先检测编码与分隔符,再检测表头行,随后读取并捕获坏行,最后规范化列名、解析日期、清洗数值,并输出处理报告。

适用场景:数据导入前的预处理、数据仓库 ETL、将业务 CSV 快速落库、处理来源不统一的导出文件。

限制:资料未提供安装命令、版本要求、性能基准或收费信息;部分示例使用已弃用的 pandas 参数(如 infer_datetime_format、error_bad_lines),实际使用需按当前 pandas 版本调整;约束检测为启发式建议,需人工确认。