data-engineering-storage-remote-access-integrations-pyarrow

用途：在 PyArrow 中通过远程文件系统读写云存储上的 Parquet 数据。主要能力：原生 PyArrow 文件系统（如 fs.S3FileSystem）、与 fsspec 的自动桥接、以及 obstore 的 FsspecStore 高性能封装；支持列裁剪、过滤下推、Hive 分区发现与批量扫描。用法：使用 pq.read_table 时传入 filesystem，并注意路径不带 s3:// 前缀；用 ds.dataset 配合 partitioning=ds.HivePartitioning.discover() 建数据集；用 dataset.scanner(filter=..., batch_size=..., use_threads=True).to_batches() 批量处理；也可直接 pq.read_table("s3://bucket/file.parquet") 借助 fsspec。性能建议：指定 columns、使用过滤下推、利用 Parquet 行组裁剪、启用多线程、调整 batch_size，优先使用 Parquet。认证配置见相关认证主题，高级模式见 patterns 文档。限制：资料未提供具体版本、依赖安装命令、各云凭证细节与基准数据。