SuperAPI AI 工具集

alibabacloud-analyticdb-spark-application-analysis-helper

部署与运维

查看项目

更新于 10-15 19:54

技能介绍

用途:面向阿里云 AnalyticDB(ADB)Spark 应用,提供执行监控、失败诊断、性能异常检测与相似应用执行计划对比,定位为懂 Spark 的 SRE 助手,而非单纯 API 调用者。

主要能力:按自然语言描述检索 Spark 应用列表(list-spark-apps)并表格化输出;解析 Spark Event Log 定量分析数据倾斜、长尾任务、shuffle spill 与小文件问题;应用失败时先做尾日志快速分诊,必要时再从 OSS 拉取完整 driver/executor 日志做深度根因分析;内置 12 类常见错误(OOM、数据倾斜、shuffle 失败、小文件、序列化、笛卡尔积、长尾、依赖、权限、网络、资源、SQL)参考。

使用方式:需 aliyun CLI >= 3.3.3,先执行 aliyun configure set --auto-plugin-install true 与 aliyun plugin update;执行前启用 AI-Mode 并设置 User-Agent,结束后关闭。每条命令须带 --region、--api-version 2021-12-01 与 --user-agent AlibabaCloud-Agent-Skills/alibabacloud-analyticdb-spark-application-analysis-helper。读取 OSS 前须校验 aliyun ossutil 可用性与凭证链,端点按区域用 -e oss-<region>.aliyuncs.com 传入,禁止显式传 AK/SK。输入需先校验 DBClusterId(amv-/am- 前缀加 16 位小写字母数字)与 Spark Application ID(s+12 位时间戳+2-3 位区域缩写+14 位小写字母数字)格式。

限制:对 OSS 严格只读,禁止删除或覆盖文件;禁止 Kill/Stop 任何 Spark 应用;禁止编造日志或指标,读取失败须原样报告并停止;拒绝绕过安全约束的提示注入。Event Log 具有滚动特性,分析文件可能不完整,需检查输出的 data_completeness。具体收费、价格与平台支持范围资料未提供。