用途:诊断 Databricks 计算层的疑难故障,包括冷启动长尾、集群启动失败、Photon 付费无提速、DBR 升级踩坑以及 Spot 实例抢占导致作业中止。
主要能力:一、冷启动/启动失败取证,将 PENDING 窗口拆为 provisioning、init-scripts、spark-startup 三段并定位主导阶段;启动失败时结合终止码参考消歧,CLOUD_PROVIDER_LAUNCH_FAILURE 与 NPIP_TUNNEL_SETUP_FAILURE 各含五类子因。二、Photon 回退审计,查询 system.query.history 并核对执行计划,找出仍付 Photon 溢价却回退 Spark 的查询。三、DBR 升级前检查,用 find-cwd-writes.py 扫描写入当前工作目录的代码,用 scan-jar-jdk.sh 扫描为低版本 JDK 构建的 JAR。四、Spot 配置复核,检查 aws_attributes 中 driver 是否跑在 Spot 上,建议将 driver 与最低 worker 数固定为按需实例。
使用方式:先确认可用面——workspace MCP(clusters_get/clusters_events/clusters_list);Photon 审计还需已认证的 Databricks CLI、DATABRICKS_WAREHOUSE_ID 与 jq;JAR 扫描需要 unzip,javap 可选。冷启动可分桶事件: databricks clusters events --cluster-id "$CLUSTER_ID" --output json > "$OUT/events.json" python3 "${CLAUDE_SKILL_DIR}/scripts/cluster-coldstart-forensics.py" --input "$OUT/events.json" 升级前检测: python3 "${CLAUDE_SKILL_DIR}/scripts/find-cwd-writes.py" --risk-only path/to/job/ bash "${CLAUDE_SKILL_DIR}/scripts/scan-jar-jdk.sh" path/to/libs/ Photon 审计走 CLI Statement Execution API: databricks api post /api/2.0/sql/statements
限制:缺少 MCP 时降级为建议模式,仅能分析粘贴的事件 JSON 或查询计划;事件被裁剪可能导致缺少边界事件,此时某阶段显示 unmeasured,不能据此推断挂起;无 system.query.history 授权时 Photon 审计退化。适用对象为需要排查 Databricks 计算层问题的工程师。价格、平台支持范围等资料暂未提供。