用途:整理使用 Parquet 列式格式进行高效数据存储与读取的实践模式,适用于数据管道与分析场景。
主要能力: 基础读写:用 pandas 的 df.to_parquet 与 pd.read_parquet 写入和读取,支持 snappy、gzip、zstd、None 等压缩选项;读取时可只选指定列以做列裁剪。 大文件处理:以 PyArrow 的 pq.read_table 读取,支持 filters 行组过滤与 iter_batches 分批处理,减少内存占用。 分区数据集:用 partition_cols 按列写出目录分区,读取时可整体读取或指定分区;也可用 pyarrow.dataset API 配合 hive 分区与字段过滤。 模式管理:用 pa.schema 显式定义字段类型,写入后可用 pq.read_schema 校验;提供模式合并与 append_with_schema_evolution 做演进式追加。 行组与元数据:可设置 row_group_size,读取行组元数据与列统计;支持写入自定义 metadata。 Delta Lake 集成:用 deltalake 的 write_deltalake 与 DeltaTable 实现覆盖/追加写入、时间旅行、compact 与 vacuum。 性能建议:使用 dictionary 等合适类型、写入前排序、列选择、过滤与并行读取。 转换工具:提供 CSV 分块转 Parquet 与 JSON lines 转 Parquet 的辅助函数。
使用方式:基于 Python,依赖 pandas 与 pyarrow(Delta 部分需 deltalake),按上述函数调用即可。
限制:资料未提供安装命令、版本要求、性能基准与平台支持信息,暂未提供。