用途:当 AWS Glue 控制台信息不足时,用于调查作业失败、OOM、Spark 崩溃、爬虫模式误判、连接超时、Data Catalog 漂移、DPU 配置不当、数据倾斜、书签损坏或 Glue Studio 生成错误等问题。
主要能力:提供分步排查流程。第一步收集与分诊,使用 aws glue get-job、get-job-run、batch-get-jobs、get-crawler、get-connection 以及 aws logs filter-log-events 获取作业配置、运行状态、爬虫与连接信息及 CloudWatch 日志。第二步领域深入,使用 get-job-runs、get-crawler-metrics、get-databases、get-tables、get-partitions、get-job-bookmark 和 cloudwatch get-metric-statistics 查看历史运行、爬虫指标、目录元数据、分区、书签状态与作业指标。资料还包含工具速查表、28 个 runbook(按作业、爬虫、连接、Data Catalog、性能、ETL、安全、Glue Studio 等分类)以及 worker 类型和 Glue 版本对比。
使用方式:按上述命令收集证据,并在对任何 Glue 问题下结论前阅读 references/glue-guardrails.md。
适用场景:Glue 作业与爬虫故障排查、性能与 DPU 调优、Data Catalog 与分区管理、连接与网络问题诊断。
限制与注意事项:资料强调需引用具体错误信息、爬虫指标或日志作为证据;OOM 需区分 driver 与 executor;书签仅对受支持数据源有效且需 job.init()/job.commit();爬虫模式变更取决于 SchemaChangePolicy;JDBC 连接需 VPC、子网与安全组配置;单个假设排查不超过 2 分钟。具体收费、价格与平台支持情况暂未提供。