SuperAPI AI 工具集

zarr-python

编程与开发

查看项目

更新于 10-15 23:59

技能介绍

用途:Zarr Python 用于存储大规模 N 维数组,通过分块与压缩实现高效并行 I/O 和云原生工作流,适合科学计算场景。

主要能力:支持创建、打开、读写、调整大小和追加数组,提供 NumPy 风格索引及 vindex、oindex、blocks 等高级索引;支持分块策略与 sharding,可按访问模式对齐块形状;支持 Blosc、Gzip、Zstd 等压缩编解码器;提供 LocalStore、MemoryStore、ZipStore 及 S3/GCS 等存储后端;支持 Groups 层级组织、h5py 兼容 API、JSON 属性元数据;可与 NumPy、Dask、Xarray 集成,支持线程/进程同步与合并元数据。

使用方式:安装命令为 uv pip install zarr,需 Python 3.11+;云存储需额外安装 s3fs 或 gcsfs。基本用法为 zarr.create_array 创建数组,用 NumPy 风格索引读写,用 zarr.open_array 打开已有数组。

适用场景:大规模科学数据、时间序列、云原生工作流、超出内存的并行计算。

限制:分块大小与形状显著影响性能,需按访问模式选择;shard 与 chunk 需能放入内存;合并元数据在频繁更新或多写入者场景可能不一致;并发写入跨块边界时需同步。部分内容资料未完整提供。