SuperAPI AI 工具集

guidewire-observability-and-incident-response

部署与运维

查看项目

更新于 10-16 09:09

技能介绍

用途

本技能用于在生产环境中运行 Guidewire Cloud API 集成,为值班工程师提供可操作的仪表盘、告警和运行手册。它整合了运维层:衡量什么、对什么告警、如何分诊前五类事故,以及如何通过事故后评审闭环防止复发。

主要能力

1. 定义衡量用户可见行为的 SLI

跟踪用户关心的指标,而非容易测量的指标。关键 SLI 包括:

  • 令牌端点可用性:/oauth/token 在滚动 5 分钟窗口的成功率,目标 ≥99.9%
  • Cloud API 写入成功:POST/PATCH 调用的 2xx 率(排除 4xx 调用方错误),目标 ≥99.5%
  • 绑定成功率:滚动 1 小时内 bound/quoted 比率(排除转介),目标 ≥98%
  • FNOL 摄入 p99 延迟:从入站事件到 claim.created 日志的端到端时间,目标 ≤2s
  • 报价到绑定中位延迟:从报价调用到绑定成功的中位时间,目标 ≤30s

来自上游 Cloud API 的 5xx 计入可用性;来自调用方 bug 的 4xx(验证失败、作用域不匹配)不计入——这些是调用方错误,不是集成中断。区分两者是导致告警疲劳或漏报事故的最大原因。

2. 基于燃烧率的告警,而非阈值告警

对“错误率 > 1%”告警会在每次瞬时 502 时呼叫值班人员。应改为对 SLO 燃烧率告警——错误预算被消耗的速率。

  • 快速燃烧:1 小时内消耗 2% 错误预算 → 立即呼叫
  • 慢速燃烧:6 小时内消耗 5% 错误预算 → 工作时间呼叫
  • 涓流:3 天内消耗 10% 错误预算 → 开票,不呼叫

3. 前五类分诊树

每棵树是值班人员从信号到恢复的约 5 步决策序列。

  • T1:Cloud API 调用 401 激增
  • T2:PATCH 调用 409 风暴
  • T3:Cloud API 或 Hub 429 饱和
  • T4:检测到作用域漂移
  • T5:GUnit / runServer OOM(开发或预发)

4. 恢复操作手册(前五类事故)

每份手册是值班运行手册中的一页,包含具体命令而非散文。每份手册以插入审计行结束,以便下次事故后评审拥有完整时间线。

5. 事故后评审模板(PIR)

包含时间线、SLO 影响、根本原因、有效之处、无效之处、行动项(含负责人和截止日期)以及复发预防。纪律在于行动项必须有负责人和日期。

使用方式

按顺序构建运维层:定义 SLI → 配置燃烧率告警 → 记忆分诊树 → 编写恢复手册 → 应用 PIR 模板。

适用场景

  • 生产环境 Guidewire Cloud API 集成的运维
  • 值班工程师事故响应
  • 减少告警疲劳和漏报
  • 防止重复事故

限制

  • 需要已工作的集成,向 Datadog、Grafana+Prometheus、New Relic、Splunk 等后端发送结构化日志和指标
  • 需要访问分页系统(PagerDuty、Opsgenie、VictorOps)并定义值班轮换
  • 需要 guidewire-security-and-rbac 中的 integration_audit 表已填充
  • 需要 correlation_id 端到端传播
  • 具体命令和配置示例依赖具体环境,需根据实际情况调整