SuperAPI AI 工具集

gcp-spark-troubleshooting

数据与分析

查看项目

更新于 10-15 21:54

技能介绍

用途:为 Google Cloud 上的 Spark 工作负载提供系统化排障指引,覆盖 Dataproc Serverless(Batches 与 Sessions)和标准 Dataproc 集群,同时用于分析、检索、追踪与汇总存储在 GCS 中的 Spark 驱动日志、执行器日志和事件日志。

主要能力:强调以证据为准,先定位根因再改动代码或基础设施;提供一组仅依赖 Python 标准库的辅助脚本,用于流式读取日志、分页查看错误上下文、解析 Spark 事件日志摘要,以及检查 PySpark 脚本和 Java/Scala 的 JAR、ZIP、CLASS 字节码(反汇编为可读 JVM 汇编,输出类结构、字符串常量、方法引用与内部类闭包)。

使用方式:需 Python 3.8+ 与已认证的 gcloud CLI。日志读取示例:python3 scripts/spark_gcs_log_reader.py --uri="<uri>" --action=info;事件日志摘要用 --action=summarize_events;驱动输出用 --action=tail --lines=100;搜索用 --action=search --substring="Exception",并可用 --ignore_case、--context、--max_matches 控制。代码检查用 python3 scripts/spark_code_inspector.py --uri=... ,可用 --entry 指定类名或归档路径。Serverless 批用 gcloud dataproc batches describe,集群作业用 gcloud dataproc jobs describe 获取元数据。

限制:脚本仅用标准库,不要 pip 安装;不得用脚本或作业解析超大日志,不得将多 GB 日志整体载入内存;不要对 .jar/.zip/.class 做文本解码;不要用日志喂给代码检查器。JDK、zst 解码器等为可选增强,缺失时功能降级但不阻断诊断。阶段诊断脚本需用户自行提供规则(--rules_file 或 --custom_rule),否则报错退出;"0 stages analyzed" 不代表健康。其余细节(如许可、价格)暂未提供。