SuperAPI AI 工具集

data-engineering-storage-formats

数据与分析

查看项目

更新于 10-15 23:58

技能介绍

用途:本技能是一份面向分析与机器学习的数据序列化格式指南,帮助在 Parquet、Apache Arrow(Feather/IPC)、Lance、Zarr、Avro 与 ORC 之间做选择,涉及压缩取舍、分区策略与格式转换。

主要能力:提供格式对比维度(列式/行式、最佳用途、压缩、Schema 演进、随机访问);给出选型建议,如分析查询与数据湖选 Parquet、进程间零拷贝与 ML 训练选 Arrow/Feather、向量与多模态选 Lance、N 维数组与地理空间选 Zarr、流式与 Kafka 选 Avro、Hive/Hadoop 生态选 ORC;并说明各格式关键概念,如 Parquet 的行组、列块、页、统计信息与字典编码,Arrow 的零拷贝与 Flight RPC,Lance 的内置向量索引与版本控制,Zarr 的分块与云存储,Avro 的 Schema 演进,ORC 的条带统计。

使用方式:文档给出 Polars、PyArrow、fastavro、zarr、lancedb 等库的读写示例,并涉及与云存储(S3/GCS)结合、格式互转(如 Avro→Parquet、Arrow→Lance、Zarr→Parquet)、Hive 风格分区发现与性能调优建议(行组大小、压缩级别、分块对齐访问模式)。相关依赖技能为 @data-engineering-core、@data-engineering-storage-remote-access、@data-engineering-storage-lakehouse。

适用场景与限制:适合数据工程师与 ML 工程师选型、调优与迁移存储格式;但具体收费、价格、平台支持与性能数字暂未提供,需以官方规格与实测为准。