SuperAPI AI 工具集

zarr-python

编程与开发

查看项目

更新于 10-15 21:34

技能介绍

用途:Zarr 是 Python 库,用于以分块和压缩方式存储大规模 N 维数组,适合并行 I/O、云原生工作流,以及与 NumPy、Dask、Xarray 的集成。

主要能力:支持创建、打开、读写、调整大小和追加数组;提供 NumPy 风格索引及 vindex、oindex、blocks 等高级索引;支持分块策略、分片(sharding)、多种压缩编解码器(Blosc、Gzip、Zstd 等);支持本地文件系统、内存、ZIP、S3、GCS 等存储后端;支持组与层级结构、h5py 兼容 API、属性元数据;提供线程与进程同步器、合并元数据、性能优化与调试信息。

使用方式:安装命令为 uv pip install zarr,要求 Python 3.11+;云存储需额外安装 s3fs 或 gcsfs。基本用法包括 zarr.create_array、zarr.zeros、zarr.open_array、zarr.open、zarr.group 等,读写使用 NumPy 风格切片。

适用场景:大规模科学计算、气候与地理空间数据、时间序列、云原生数据存储、超出内存的数据集并行处理。

限制:分块大小与形状需按访问模式选择,否则性能差异显著;分片和整块数据需能放入内存;合并元数据在频繁更新或多写入者场景可能过期或不一致;并发写入跨块边界时需要同步;属性必须可 JSON 序列化。部分细节(如具体版本兼容性、完整 API 列表)暂未提供。