用途:帮助在分析型数据湖与机器学习场景中选择并使用现代数据存储格式。
主要能力:提供六种文件格式(Parquet、Arrow/Feather、Lance、Zarr、Avro、ORC)与三种湖仓表格式(Delta Lake、Apache Iceberg、Apache Hudi)的对比,涵盖压缩、模式演进、随机访问、ACID、时间旅行、写优化与 Python API 等维度;附格式选型矩阵、压缩编解码器对比(Snappy、Zstd、LZ4、Gzip、Blosc)及最佳实践。
使用方式:按场景选型,例如数据湖分析用 Parquet 或 Delta Lake,ML 训练数据用 Arrow/Feather 或 Lance,地理空间数组用 Zarr,流式/Kafka 用 Avro,遗留 Hive 用 ORC,多引擎分析用 Iceberg,CDC 管道用 Hudi。资料给出 Polars/PyArrow 写读 Parquet、deltalake 建表与 merge、pyiceberg 加载目录与时间旅行扫描、lancedb 向量检索、zarr 分块压缩数组等示例代码。
适用场景:数据湖分析、ML 训练与向量存储、地理空间与 N 维数组、流式数据、特征库、进程间 IPC、多引擎分析、CDC 管道与快速导出。
限制:资料未提供各格式的性能基准、成本、平台支持范围或版本要求;具体 API 行为与兼容性需以官方文档为准。