obstore 是一个基于 Rust object_store crate 构建的高性能、无状态远程文件系统库,2025 年发布,主打并发操作性能(官方称较 Python 方案最高快 9 倍)。安装:pip install obstore,或用 conda install -c conda-forge obstore。
用途与能力:通过顶层函数式 API(如 obs.get(store, path))对对象存储做读写。可使用 S3Store、GCSStore、AzureStore、LocalStore 创建存储,并支持 from_env 读取标准环境变量。提供 put、get、get_range、list、list_with_delimiter、delete、copy、rename、head 等操作,list 为流式无需分页。
使用方式:同步 API 之外有 put_async、get_async 等异步接口,可配合 asyncio.gather 做并发上传下载;支持从生成器或异步迭代器流式上传,大文件自动分片。list 可传 return_arrow=True 返回 Arrow 表,便于接入 PyArrow、Polars。通过 obstore.fsspec 的 register() 或 FsspecStore 提供 fsspec 兼容层,可配合 PyArrow 读取 Parquet。
适用场景:性能敏感、海量小文件、高并发、需要 async/await、希望最小依赖、大规模数据导入导出。限制:资料未提供具体收费、价格与完整兼容性细节;认证模式另见相关主题。