SuperAPI AI 工具集

zarr-python

编程与开发

查看项目

更新于 10-15 20:34

技能介绍

用途:Zarr Python 用于存储大型 N 维数组,通过分块与压缩实现高效并行 I/O 和云原生工作流,适合大规模科学计算。

主要能力:支持 NumPy 风格索引读写、resize 与 append;可配置分块、sharding 与压缩(Blosc、Gzip、Zstd、LZ4 等);提供本地文件、内存、ZIP、S3、GCS 等存储后端;支持 Group 层级与 h5py 风格 API、JSON 属性元数据;可与 NumPy、Dask、Xarray 集成,支持线程/进程同步与合并元数据。

使用方式:安装 uv pip install zarr(需 Python 3.11+),云存储另装 s3fs 或 gcsfs。用 zarr.create_array、zarr.zeros、zarr.open_array 等创建或打开数组,按 NumPy 方式读写;用 zarr.group 组织层级;用 zarr.consolidate_metadata 与 zarr.open_consolidated 优化云上元数据读取。

适用场景:气候与地理空间数据、时间序列、超大矩阵运算、云上数据湖等需要分块存储与并行计算的场景。

限制:分块形状需匹配访问模式,否则性能差异显著;整个 chunk 或 shard 必须能放入内存;合并元数据在频繁更新或多写入者场景可能过期;并发写入跨 chunk 边界时需同步器。具体收费、平台与效果资料暂未提供。