用途
awsflow-emr 用于管理和查看 Amazon EMR 相关资源,涵盖 EMR 集群、步骤、实例、Studio、Notebook 执行、发行版本标签、安全配置以及托管扩缩容等。当用户询问 EMR 集群、Hadoop 或 Spark,想查看集群状态、步骤或实例,查看 EMR Studio 或 Notebook 执行,询问发行版本标签、实例类型或安全配置,检查自动终止、托管扩缩容或会话凭据,或需要启动/终止集群、添加步骤、实例组或标签、修改集群设置或扩缩容策略时,可使用该技能。
主要能力
该技能通过 EMRTool 工具执行,调用时需始终提供 params 对象。命令可分为查询类与生命周期管理类。
查询类命令包括:ListClusters(按状态、创建时间过滤集群列表,支持分页)、DescribeCluster(获取集群详情)、ListSteps / DescribeStep(列出与查看步骤详情)、ListInstances(列出集群中的 EC2 实例,可按 InstanceFleetId、InstanceGroupId、实例状态过滤)、ListInstanceFleets / ListInstanceGroups / ListBootstrapActions、ListStudios / DescribeStudio、ListNotebookExecutions / DescribeNotebookExecution、ListReleaseLabels / DescribeReleaseLabel、ListSupportedInstanceTypes、DescribeSecurityConfiguration、ListSecurityConfigurations、GetAutoTerminationPolicy、GetBlockPublicAccessConfiguration、GetManagedScalingPolicy、GetClusterSessionCredentials、GetStudioSessionMapping / ListStudioSessionMappings、DescribeJobFlows(旧版)、以及 DescribePersistentAppUI / GetOnClusterAppUIPresignedURL / GetPersistentAppUIPresignedURL 等应用 UI 命令。
生命周期与管理命令包括:RunJobFlow(创建集群)、AddJobFlowSteps(添加步骤)、ModifyCluster(修改设置,如 StepConcurrencyLevel)、PutAutoScalingPolicy(为实例组配置自动扩缩容)、AddTags / RemoveTags、TerminateJobFlows(终止一个或多个集群)。
使用方式
以命令加参数的形式调用 EMRTool,每条命令需传入 params 对象。例如列出运行中和等待中的集群:{ "command": "ListClusters", "params": { "ClusterStates": ["RUNNING", "WAITING"] } };查看集群详情:{ "command": "DescribeCluster", "params": { "ClusterId": "j-1234567890ABC" } };添加 Spark 步骤使用 AddJobFlowSteps 并指定 JobFlowId 与 Steps。参数中标注为必填的需提供,如 DescribeCluster、ListSteps、DescribeStep、ListInstances、ListInstanceFleets、ListInstanceGroups、ListBootstrapActions、DescribeStudio、DescribeNotebookExecution、DescribeReleaseLabel、DescribeSecurityConfiguration、GetAutoTerminationPolicy、GetManagedScalingPolicy、GetClusterSessionCredentials、GetStudioSessionMapping、ListStudioSessionMappings、GetOnClusterAppUIPresignedURL 等的相应 ID 或名称。
适用场景
适合对 Amazon EMR 集群进行日常运维与排查,例如检查集群状态与步骤执行情况、查看底层 EC2 实例、浏览 Studio 与 Notebook 执行、查询可用的发行版本与支持的实例类型、检查安全配置、自动终止与托管扩缩容策略,以及执行创建、打标签、修改设置和终止集群等操作。
相关服务
EMR 与 S3 相关(集群使用 S3 存储输入输出数据、日志和脚本,可用 S3Tool 查看数据);EMR 与 EC2 相关(集群运行在 EC2 实例上,可用 EC2Tool 查看底层实例);EMR 与 CloudWatch 相关(集群指标和日志位于 CloudWatch,可用 CloudWatchLogTool 读取日志);EMR 与 IAM 相关(集群使用 EC2 实例配置文件和服务角色,可用 IAMTool 查看);EMR 与 Glue Data Catalog 相关(EMR 可将 Glue Data Catalog 用作 Hive 元数据存储,可用 GlueTool 查询目录);EMR 与 CloudFormation 相关(EMR 集群可由 CloudFormation 堆栈管理)。
限制
资料未提供该技能的具体安装命令、平台限制、收费方式或价格信息。