SuperAPI AI 工具集

alibabacloud-dataworks-infra-manage

部署与运维

查看项目

更新于 10-15 12:54

技能介绍

用途

本技能用于在阿里云 DataWorks 工作空间中统一管理基础设施,涵盖数据源、计算资源和 Serverless 资源组,支持创建与查询操作。适用于工作空间基础设施初始化、数据源与计算资源配置、资源组创建与绑定、数据源连通性测试等场景。

主要能力

  • 工作空间查询:查询和搜索 DataWorks 工作空间,确认工作空间模式(简单模式/标准模式)。
  • 数据源管理:支持 50 种数据源类型,包括 MySQL、Hologres、MaxCompute、PostgreSQL、Kafka、MongoDB 等。支持创建、查询数据源,以及测试数据源连通性。注意:hdfs 类型暂不支持 OpenAPI。
  • 计算资源管理:支持 Hologres、MaxCompute、Flink、Spark 等类型,创建计算资源时会自动创建对应数据源。
  • 资源组管理:管理 Serverless 资源组的完整生命周期,包括创建、查询、绑定工作空间、查询绑定关系、解绑等。

使用方式

前置条件

  • Aliyun CLI 版本 >= 3.3.1(安装指南见 references/cli-installation-guide.md)
  • 首次使用需执行:aliyun configure set --auto-plugin-install true
  • 资源组操作需要 jq:which jq
  • 凭证状态检查:aliyun configure list
  • DataWorks 版本要求:基础版或以上

安全规则

  • 禁止读取/打印/回显 AK/SK 值
  • 禁止让用户直接输入 AK/SK
  • 仅使用 aliyun configure list 检查凭证状态

命令格式

  • 所有 aliyun CLI 命令必须包含 --user-agent AlibabaCloud-Agent-Skills 参数
  • Bash 命令必须构造为单行字符串,不使用 \ 换行
  • jq 分步执行:先执行 aliyun 命令获取 JSON,再用 jq 格式化
  • 指定 --region 参数时,必须同时添加 --endpoint dataworks.<REGION_ID>.aliyuncs.com

参数确认

执行任何命令前,所有用户可自定义参数必须经用户确认,不得假设或使用默认值。资源组相关参数(VPC、VSwitch、资源组 ID)必须由用户明确选择,即使只有一个选项也需确认。

写 API 执行门禁

调用任何写 API(Create / Update / Delete / Bind / Unbind / Associate / Dissociate / Test)前,必须扫描 SKILL.md 中的安全限制或禁用操作通知。若存在限制则阻止操作并告知用户原因及替代方案。

本技能中禁用的 API:

  • 数据源模块:UpdateDataSource、DeleteDataSource(防止数据丢失、凭证泄露、中断运行任务)
  • 计算资源模块:UpdateComputeResource、DeleteComputeResource(防止中断运行中的开发和调度任务)

允许的写 API:CreateDataSource、CreateComputeResource、CreateResourceGroup、AssociateProjectToResourceGroup、DissociateProjectFromResourceGroup、TestDataSourceConnectivity

RAM 权限

所有操作需要 dataworks:<APIAction> 权限。创建资源组额外需要 AliyunBSSOrderAccess 和 vpc:DescribeVpcs、vpc:DescribeVSwitches。完整权限矩阵见 references/ram-policies.md。

快速开始:新工作空间基础设施初始化

  1. 环境检查:按前置条件检查 CLI 和凭证
  2. 确认工作空间:使用 ListProjects 定位工作空间,GetProject 确认模式
  3. 创建计算资源:引导引擎类型选择,系统自动创建对应数据源。标准模式需要 Dev+Prod 对。仅纯存储型数据源(MySQL、Kafka 等)需单独创建
  4. 创建/绑定资源组:查询现有资源组 → 用户选择 → 绑定
  5. 测试连通性:使用已绑定资源组测试,全部通过后告知"基础设施配置完成"

交互流程

所有操作遵循:识别模块 → 环境检查 → 收集参数 → 执行命令 → 验证结果 → 引导下一步

常见别名:DW=DataWorks,holo=Hologres,mc/MC/odps=MaxCompute,pg=PostgreSQL,rg=Resource Group,ds=Data Source,RDS=InstanceMode MySQL/PG/SQLServer,ADB=AnalyticDB

命名建议:数据源 {type}{business}{purpose},计算资源 {type}{business},资源组 dw{purpose}rg{env}

适用场景

  • 数据源创建与查询
  • 计算资源创建与查询
  • 资源组管理(创建、绑定、解绑)
  • 基础设施初始化
  • 口语化别名触发(如 DW 数据库连接失败、配置 holo/mc 资源、创建 rg)

限制

  • 不触发场景:数据开发任务、调度配置、MaxCompute 表管理、数据集成任务、ECS/RDS/OSS、工作空间成员管理、数据质量/血缘/预览。独立工作空间查询由 alibabacloud-dataworks-workspace-manage 技能处理。
  • 数据源和计算资源的修改与删除操作被禁用,需通过 DataWorks 控制台或联系管理员处理。
  • hdfs 类型数据源暂不支持 OpenAPI。
  • 创建资源组需要 AliyunBSSOrderAccess 权限。
  • 资源组创建后需轮询 GetResourceGroup 直到状态变为 Normal(每 10 秒一次,最多 10 分钟)。
  • 若错误提示 "resourceGroupId is not in the project",需先绑定资源组。