用途:本技能用于选择、配置和使用数据目录系统,实现数据发现、治理以及跨多个查询引擎的统一表访问。适用于搭建 Iceberg 目录(Hive Metastore、AWS Glue、REST/Tabular)、比较平台目录方案、用 DuckDB 统一查询异构数据源、评估开源元数据发现工具(DataHub、OpenMetadata),以及配置跨服务表访问(Athena、EMR、Spark、DuckDB)。不适用于表格式选型、云存储认证、无目录抽象的原始存储 I/O 和通用 ETL 管道模式。
主要能力:给出目录类型对比(Hive Metastore 自托管、AWS Glue 托管、Tabular/REST 厂商托管、DuckDB 嵌入式),按场景推荐目录,并说明目录→表→存储的映射关系:目录只存元数据指针,实际数据位于对象存储。还提供多引擎访问同一表的模式,以及 PyIceberg 目录配置示例(Hive、Glue、REST 三种类型,含 create_table、append、scan 用法)。
使用方式:通过 load_catalog 加载对应类型目录并传入 uri、warehouse、region、token 等参数,再创建或查询表;DuckDB 可通过 ATTACH 或 REST 目录访问 Iceberg 表。
适用场景与限制:AWS 原生栈选 Glue,自托管 Hadoop/Spark 选 Hive Metastore,Iceberg 优先且需分支选 Tabular,小团队或 PoC 选 DuckDB。DuckDB 作为目录仅建议开发使用,多客户端写入需 Postgres 后端并定期备份。安全上禁止硬编码凭据,应使用 IAM 角色、服务主体或工作负载身份,令牌存入环境变量或密钥管理器。具体部署细节与更多配置暂未提供。