用途:面向研究场景的 pandas 数据整理(cleaning、transformation、EDA)操作指南,适用于清理问卷、预处理实验日志、合并多来源数据集以及为机器学习准备特征。
主要能力:
- 加载与检查:读取 CSV(可指定 encoding、parse_dates、dtype)、Excel(指定 sheet_name、header)、嵌套 JSON(json_normalize)与 Parquet;用 shape、dtypes、info、describe、缺失值报告与重复行检查做初步诊断。
- 缺失值处理:按缺失比例与类型选择删除行/列、均值或中位数填充、众数或 Unknown 填充、前后向填充、时间插值,或用 sklearn 多重插补;示例含按组中位数填充与填充前标记缺失。
- 转换与重塑:字符串清洗、分类类型转换(可排序、省内存)、正则抽取数值;melt 宽转长、pivot_table 长转宽、crosstab 交叉表。
- 合并连接:merge 支持 how、validate、indicator,可用 _merge 列与行数检查合并质量。
- EDA 与聚合:quick_eda 输出数值列描述、类别列取值分布及与目标列的相关性;groupby 多指标聚合。
- 性能优化:Categorical、query、eval、Parquet、pipe 链式调用。
使用方式:需 Python 环境与 pandas、numpy(多重插补需 scikit-learn);按文档代码示例复制运行,可组合成流水线。
限制与最佳实践:不原地修改原 DataFrame,派生数据用 copy;合并后须校验;优化前先做内存分析(memory_usage(deep=True));中间结果建议存为 Parquet。文档未提供价格、平台支持或效果数据。