用途:为 Databricks 相关故障提供快速响应流程,覆盖分诊、缓解与复盘,适用于值班工程师处理生产流水线中断、作业失败、集群或性能异常等现场事故。
主要能力:定义 P1 到 P4 四个严重级别及响应时间(P1 生产流水线中断 <15 分钟、P2 性能下降 <1 小时、P3 非关键问题 <4 小时、P4 无用户影响,下一工作日)。提供一组分诊脚本,先检查平台状态、工作区可达性、近一小时失败运行和 ERROR 状态集群;随后用决策树判断影响范围(单个或多个作业、是否生产数据)并指向对应处置步骤。
处置步骤包括:集群启动失败时查看终止原因与事件并尝试重启;代码或逻辑错误时获取运行详情与输出,并用 databricks runs repair --run-id $RUN_ID --rerun-tasks FAILED 只重跑失败任务;数据质量问题时用 SQL 做行数、主键、空值与时间范围检查,查看 DESCRIBE HISTORY,必要时用 RESTORE TABLE ... TO VERSION AS OF 恢复;权限问题用 databricks permissions get/update 检查与授予 CAN_MANAGE_RUN。另含内部 Slack 与外部状态页的沟通模板、按事件 ID 收集运行/输出/集群/事件证据并打包为 tar.gz 的脚本,以及含时间线、根因、影响与行动项的复盘模板。
使用方式:在事故现场按步骤顺序执行命令,命令中 run-id、cluster-id、job-id 等需替换为实际值;令牌失效或 VPN 不通时用 databricks auth login 重新认证。
限制:依赖 Databricks CLI 与 jq,需可访问工作区 API;运行过旧时 repair 可能失败,需以相同配置新建运行;VACUUM 清理后 RESTORE 可能无法回退版本,需改用备份或重放流水线。具体平台状态、支持渠道等以官方为准。