SuperAPI AI 工具集

parquet-converter

智能体与模型

查看项目

更新于 10-15 20:33

技能介绍

用途:将建筑行业数据在 CSV、Excel、JSON 与 Parquet 之间互转,用于优化存储、加速列式查询并接入现代数据湖仓平台。

主要能力:提供 ParquetConverter 类,内置 projects、costs、schedule、qto 四类标准 schema(含列类型与分区字段),也可通过 add_schema 添加自定义 schema。支持 csv_to_parquet、excel_to_parquet、json_to_parquet、parquet_to_csv 转换,压缩类型可选 snappy、gzip、brotli、zstd 或 None,支持按列分区写入。另有 get_parquet_info 查看文件元数据、query_parquet 按列与过滤条件查询、merge_parquet_files 合并多个 Parquet 文件、get_conversion_summary 汇总转换统计、export_conversion_log 导出 Excel 日志。

使用方式:基于 pandas 与 pyarrow,先实例化 ParquetConverter,再调用对应转换方法并传入 schema_name 与 compression。示例:converter = ParquetConverter("Project Data Migration");result = converter.csv_to_parquet("costs.csv", "costs.parquet", schema_name="costs", compression="snappy")。

适用场景:建筑项目成本、进度、工程量等结构化数据的格式迁移与存储优化。

限制:资料未提供安装命令、依赖版本、性能基准、收费信息及平台支持范围;schema 类型转换失败时会保留原类型。