用途
本技能用于在生产环境中运行 Guidewire Cloud API 集成,为值班工程师提供可操作的仪表盘、告警和运行手册。它整合了运维层:衡量什么、对什么告警、如何分诊前五类事故,以及如何通过事故后评审闭环防止复发。
主要能力
1. 定义衡量用户可见行为的 SLI
跟踪用户关心的指标,而非容易测量的指标。关键 SLI 包括:
- 令牌端点可用性:/oauth/token 在滚动 5 分钟窗口的成功率,目标 ≥99.9%
- Cloud API 写入成功:POST/PATCH 调用的 2xx 率(排除 4xx 调用方错误),目标 ≥99.5%
- 绑定成功率:滚动 1 小时内 bound/quoted 比率(排除转介),目标 ≥98%
- FNOL 摄入 p99 延迟:从入站事件到 claim.created 日志的端到端时间,目标 ≤2s
- 报价到绑定中位延迟:从报价调用到绑定成功的中位时间,目标 ≤30s
来自上游 Cloud API 的 5xx 计入可用性;来自调用方 bug 的 4xx(验证失败、作用域不匹配)不计入——这些是调用方错误,不是集成中断。区分两者是导致告警疲劳或漏报事故的最大原因。
2. 基于燃烧率的告警,而非阈值告警
对“错误率 > 1%”告警会在每次瞬时 502 时呼叫值班人员。应改为对 SLO 燃烧率告警——错误预算被消耗的速率。
- 快速燃烧:1 小时内消耗 2% 错误预算 → 立即呼叫
- 慢速燃烧:6 小时内消耗 5% 错误预算 → 工作时间呼叫
- 涓流:3 天内消耗 10% 错误预算 → 开票,不呼叫
3. 前五类分诊树
每棵树是值班人员从信号到恢复的约 5 步决策序列。
- T1:Cloud API 调用 401 激增
- T2:PATCH 调用 409 风暴
- T3:Cloud API 或 Hub 429 饱和
- T4:检测到作用域漂移
- T5:GUnit / runServer OOM(开发或预发)
4. 恢复操作手册(前五类事故)
每份手册是值班运行手册中的一页,包含具体命令而非散文。每份手册以插入审计行结束,以便下次事故后评审拥有完整时间线。
5. 事故后评审模板(PIR)
包含时间线、SLO 影响、根本原因、有效之处、无效之处、行动项(含负责人和截止日期)以及复发预防。纪律在于行动项必须有负责人和日期。
使用方式
按顺序构建运维层:定义 SLI → 配置燃烧率告警 → 记忆分诊树 → 编写恢复手册 → 应用 PIR 模板。
适用场景
- 生产环境 Guidewire Cloud API 集成的运维
- 值班工程师事故响应
- 减少告警疲劳和漏报
- 防止重复事故
限制
- 需要已工作的集成,向 Datadog、Grafana+Prometheus、New Relic、Splunk 等后端发送结构化日志和指标
- 需要访问分页系统(PagerDuty、Opsgenie、VictorOps)并定义值班轮换
- 需要 guidewire-security-and-rbac 中的 integration_audit 表已填充
- 需要 correlation_id 端到端传播
- 具体命令和配置示例依赖具体环境,需根据实际情况调整