用途:让 Pandas 直接读写云存储(s3://、gs:// 等)上的 CSV、Parquet、JSON 等数据。Pandas 底层借助 fsspec 访问云 URI,自动检测是最简方式:pd.read_csv("s3://bucket/data.csv")、pd.read_parquet("s3://bucket/data.parquet")、pd.read_json("gs://bucket/data.json"),压缩格式也会自动识别。自动检测使用默认凭据,需显式认证时改用显式文件系统。
主要能力:用 fsspec.filesystem("s3", anon=False) 创建文件系统,再通过 fs.open 或 filesystem= 参数传入读写函数;pd.read_parquet 支持 columns 列裁剪与 filters 行组过滤。PyArrow 后端用 pyarrow.fs.S3FileSystem(region="us-east-1"),传 filesystem 时路径不带 s3:// 前缀,写入 to_parquet 支持 partition_cols 分区。认证可走默认凭据链(AWS_PROFILE、~/.aws/credentials、IAM 角色),或向构造函数传 key、secret;S3 兼容存储用 client_kwargs 指定 endpoint_url。
性能与限制:列裁剪、行组过滤、simplecache:: 或 filecache:: 缓存、优先 Parquet。Pandas 会把整个 DataFrame 载入内存,不适合大于内存的数据集;多文件读取需手动用 fs.glob() 加列表推导。大数据可考虑 PySpark 或 Dask,惰性计算可用 Polars。完整认证细节暂未提供。