SuperAPI AI 工具集

byted-emr-skills

数据与分析

查看项目

更新于 10-15 17:30

技能介绍

用途:为 AI 助手提供火山引擎 EMR(兼容开源 Hadoop 生态的企业级大数据分析系统)的管理能力,覆盖 EMR Serverless、EMR Agent、EMR on ECS、EMR on VKE 四种形态。触发场景包括查询集群与服务列表、重启 Spark 服务、获取作业日志、查看 Serverless 队列、提交 Spark 作业、诊断失败作业等。

主要能力:

  1. EMR Serverless:队列开通/列表/详情、队列权限查询与授予、计算组创建/修改/启停/删除与规格镜像查询、作业模板创建/修改/查询/运行、作业实例提交(SparkSQL/PrestoSQL/SparkJar/PySpark/RayJob)、状态查询、取消、重跑与结果分批拉取、操作日志查询。
  2. EMR Agent:交互式问题诊断与知识问答、诊断会话与报告管理,适用于所有 EMR 形态。资料称控制台使用需加白、API 可直接调用且有免费额度,后续按使用情况计费。
  3. EMR on ECS:集群详情/列表/属性更新、节点组与节点管理、磁盘扩容、ECS 规格更新、应用与组件操作、服务配置管理、操作审计、用户与用户组管理。
  4. EMR on VKE:集群列表与详情、服务列表与组件实例、重启服务、查看与修改服务配置参数、操作日志查询。

使用方式:先配置环境变量,推荐 ARK_SKILL_API_BASE 与 ARK_SKILL_API_KEY;未配置时需设置 VOLCENGINE_AK、VOLCENGINE_SK、VOLCENGINE_REGION(默认 cn-beijing)。Serverless 需先安装 SDK:bash scripts/bin/install_serverless_sdk.sh。Serverless OpenAPI 调用示例:python ./scripts/on_serverless/emr_serverless_cli.py --action <Action> --method <GET|POST> --query '<json>' --body '<json>';作业提交:python ./scripts/on_serverless/emr_serverless_submit_cli.py <sql|jar|pyspark|ray> ...。ECS 形态用 scripts/on_ecs/emr_on_ecs_cli.py。通过 Python 引用脚本包时需 sys.path.append(${emr_skill_root})。

限制与要求:临时文件必须放在 ./tmp;遇到作业、服务、集群失败或诊断需求须优先使用 EMR Agent,并等待其完成,不要中途终止;不要读取 scripts 下脚本内容,按 guide 文档执行;提交并等待作业应分为两个脚本,状态脚本只获取一次状态,多次运行而不在脚本内 While 循环。各功能的详细操作需遵循对应 references 指南文档。其他细节资料暂未提供。