用途:通过阿里云 API 管理 EMR Serverless Spark 工作空间全生命周期,面向熟悉 Spark 的数据工程师。
主要能力:创建工作空间、查询与列出工作空间;提交 Spark 作业(JAR/PySpark/Spark SQL)、查询作业状态与日志、取消作业、查看 CU 消耗;创建与管理 Kyuubi 交互式 SQL 服务及 Token;创建会话集群;资源队列扩缩容;查询引擎版本。
使用方式:需阿里云 CLI >= 3.3.3,执行 aliyun configure set --auto-plugin-install true 与 aliyun plugin update;每条命令须带 --user-agent AlibabaCloud-Agent-Skills/alibabacloud-emr-spark-manage,建议加 --region。执行前启用 AI-Mode(aliyun configure ai-mode enable 并设置 User-Agent),结束后禁用。API 版本 2023-08-08,插件模式小写连字符命令,如 aliyun emr-serverless-spark create-workspace。首次使用需授予 AliyunServiceRoleForEMRServerlessSpark 与 AliyunEMRSparkJobRunDefaultRole,并配置 RAM 权限与 OSS 存储。
限制:严禁调用 DeleteWorkspace 或构造对 /api/v1/workspaces/{workspaceId} 的 DELETE 请求,删除工作空间须前往控制台。取消作业、删除会话集群/Kyuubi 服务/Token、停止 Kyuubi 等破坏性操作需预检查并获用户确认。CreateWorkspace、StartJobRun、CreateSessionCluster 建议使用幂等令牌。限流时等待 5-10 秒重试,同一请求最多 5 次。
适用场景:ETL 与数据处理、数据科学与机器学习、数据分析与报表查询。