SuperAPI AI 工具集

querying-aws-sagemaker-catalog

部署与运维

查看项目

更新于 10-15 17:23

技能介绍

用途:对 Amazon SageMaker Unified Studio 的 SageMaker Catalog 资产元数据运行 SQL 分析。元数据以每日快照形式导出为 Apache Iceberg 表,存放于 AWS 托管的 aws-sagemaker-catalog 表桶中,无需自建 ETL 即可查询资产数量、治理缺口、所有权和历史变化。数据按 snapshot_time 分区,约每天午夜(按区域)导出一次,表为只读。

主要能力:统计当前资产类型分布、查找缺少业务描述或所有者的资产、追踪近 30 天资产增长、通过 snapshot_time 做时间旅行对比(如一周内新增描述)、按 extended_metadata['owningEntityId'] 等键分组统计。查询语法为 "s3tablescatalog/aws-sagemaker-catalog"."asset_metadata"."asset"。

使用方式:先用 aws datazone get-data-export-configuration 检查是否已配置,用 aws datazone put-data-export-configuration 启用导出(生产建议加 KMS 加密,创建后不可更改);通过 Lake Formation 授予 SELECT + DESCRIBE;查询时必须以 WHERE DATE(snapshot_time) = CURRENT_DATE 过滤,否则会扫描全部历史快照并产生重复行。首次导出最多需 24 小时。

适用场景:目录资产盘点、治理审计、所有权与描述缺口分析、目录增长趋势与历史对比。

限制:每账号每区域一个域,切换需先删除配置;只读,更新元数据需用 Glue Discovery API 或 SageMaker Unified Studio;除 S3 Tables 存储与 Athena 查询外无额外费用;不支持按名称查找特定表或浏览目录,这些应使用其他技能。

安全要点:查询结果默认视为敏感(含资产名、所有权、账号 ID 等);启用 KMS 加密并配置 Athena 输出桶 SSE-KMS;按最小权限仅授予特定 asset_metadata.asset 表;开启 CloudTrail 审计;使用临时凭证 IAM 角色。常见错误包括桶未找到(导出未启用)、结果为空(首次导出未完成)、AccessDenied(缺少 Lake Formation 授权)、CATALOG_NOT_FOUND(S3 Tables 未在 Glue 注册)、重复行(缺少 snapshot_time 过滤)。