SuperAPI AI 工具集

alibabacloud-dataworks-metadata

数据与分析

查看项目

更新于 10-16 04:59

技能介绍

用途:在 DataWorks Data Map 中浏览与整理元数据,覆盖只读查询和非破坏性写入,不提供任何删除能力。

数据模型:Catalog → Database → Table → Column/Partition,另有血缘(上下游)、MetaCollection(Category/Album)、Dataset → Version。

前置条件:需 Aliyun CLI >= 3.3.3,运行 aliyun version 校验。安装插件:aliyun plugin install --names dataworks-public,随后可执行 aliyun plugin update 刷新。会话开始时须启用 AI-Mode 并绑定 user-agent:aliyun configure ai-mode enable;aliyun configure ai-mode set-user-agent --user-agent "AlibabaCloud-Agent-Skills/alibabacloud-dataworks-metadata"。结束后执行 aliyun configure ai-mode disable。凭据用 aliyun configure list 检查,绝不读取或回显 AK/SK。禁止管道执行远程安装脚本,禁止运行 aliyun configure set --auto-plugin-install true 及其它 configure set。

主要能力:浏览 crawler 类型、catalog、database、table、column、partition;查询上下游血缘与实体间关系;创建、更新数据集及版本并预览版本;管理元数据集合及集合内实体。命令均需 --region 及 --read-timeout 60 --connect-timeout 10,列表命令支持 --page-number 与 --page-size。

使用要点:实体 ID 形如 ${EntityType}:${InstanceId}:${CatalogId}:${DatabaseName}:${SchemaName}:${TableName},MaxCompute 常见格式为 maxcompute-table:::project:table,带 schema 时为 maxcompute-table:::project:schema:table,找不到时尝试 :default:。血缘查询中 --src-entity-id 为下游、--dst-entity-id 为上游。所有 update-、create-、add-entity-、register- 写入前须复述目标并获用户确认;create-/add- 前先 list/get 做幂等检查。超时或含糊错误不要盲目重试,先复查状态。

限制:不支持删除数据集、版本、集合、血缘关系或从集合移除实体,需改用 DataWorks 控制台;每个数据集最多 20 个版本,租户最多 2000 个数据集,Album 操作需 AliyunDataWorksFullAccess 或创建者/管理员权限;分区列表仅支持 MaxCompute/HMS。

具体安装文档与权限说明见参考文件,资料未提供更多收费、价格或平台细节。