SuperAPI AI 工具集

pandas-coder

数据与分析

查看项目

更新于 10-16 00:03

技能介绍

Pandas-Coder 聚焦于 pandas 的 DataFrame 操作,面向大数据集的生产级处理模式。

用途与主要能力:处理大文件时支持分块读取 CSV(如 pd.read_csv('large.csv', chunksize=50_000)),并可按需读取列(usecols)。内存优化方面,介绍加载时指定 dtype、用 category 类型替代重复字符串(示例:object 类型 800MB 降至 category 50MB),并给出 reduce_memory 函数,按取值域将 int64/float64 降为更小类型,声称可降低 50% 至 90% 内存。

性能写法:提倡向量化代替逐行循环,例如用 df['total'] = df['price'] * df['qty'] 替代 iterrows,用 .str 向量化字符串方法替代 apply;条件赋值可用 np.where 与 np.select;分组聚合支持命名聚合与 transform 广播;索引、日期分量、合并排序等也有对应优化建议。

数据转换:支持用 Parquet 替代 CSV,含压缩、按列读取和按分区写入;提供 flatten_json、explode_arrays、json_to_dataframe 三个函数,用于嵌套 JSON 的展平与数组展开,并给出 PostgreSQL 与 dbt 中的 JSON 展平 SQL 示例,以及输出结构(schema)生成说明,含数组展开导致的行数倍增记录。

适用场景:数据清洗、特征准备、日志或接口 JSON 转表、内存受限环境下的批处理。

限制:资料未提供安装命令、版本依赖要求、授权与收费信息,也未给出完整项目结构或测试数据;示例中的内存降幅与性能为文档陈述,实际效果需自行验证。