SuperAPI AI 工具集

data-engineering-storage-remote-access-integrations-iceberg

智能体与模型

查看项目

更新于 10-15 23:58

技能介绍

用途:为存储在云对象存储上的 Apache Iceberg 表配置 PyIceberg 目录,并执行表读取与写入操作。

安装:pip install pyiceberg[pyarrow,pandas,aws](AWS 后端)或 pip install pyiceberg[pyarrow,rest](REST 目录)。

目录配置:通过 load_catalog 加载。AWS Glue 传 type 为 glue、s3.region 等参数;REST 目录传 uri、s3.endpoint 等;Hive 传 uri 为 thrift 地址;本地开发可用 InMemoryCatalog,表默认存于 ~/.pyiceberg/。凭据默认读取环境变量或 IAM 角色(AWS_ACCESS_KEY_ID、AWS_SECRET_ACCESS_KEY、GOOGLE_APPLICATION_CREDENTIALS、AZURE_STORAGE_ACCOUNT、AZURE_STORAGE_KEY),仅本地或非标准环境需显式传入。

表操作:catalog.load_table 加载表;table.scan 支持 row_filter 过滤下推与 selected_fields 列裁剪,可 to_pandas、to_arrow 或 to_polars;table.append 追加数据;table.overwrite 整表替换;update_schema 支持 add_column 加列与 upgrade_column 升级类型。

适用场景:S3、GCS、Azure Blob 上 Iceberg 表的目录管理与读写,含本地 MinIO 或本地文件目录开发。

限制与注意:不建议生产使用本地文件系统,应使用共享目录(Glue、Hive、REST);没有目录元数据不要管理表;表元数据过大会拖慢操作,可用 expire_snapshots() 归档旧快照;建议用 PyArrow 表并批量写入以提升性能。收费、价格与具体平台效果暂未提供。