用途:在遵循 SRE 原则与最佳实践的前提下响应生产事故,并组织有效的复盘。
主要能力:
- 严重级别定义:P0 服务完全不可用或核心功能缺失,立即全员响应、每 30 分钟沟通;P1 影响大量用户的显著降级,主要值班立即响应、每小时沟通;P2 轻微降级或单组件受影响,下一工作日响应、每日更新;P3 暂无用户影响但有潜在风险,纳入待办、异步沟通。级别依据用户影响判定。
- 响应流程:检测(告警→值班确认→初步评估)、分诊(评估级别、按需增援、建立事故频道、指定事故指挥官)、缓解(确定方案并执行最快安全缓解、观察改善、未改善则升级)、解决(验证服务健康、通报解决、记录操作、安排复盘)、跟进(开展复盘、确定行动项、跟踪完成、更新 Runbook)。
- 角色:事故指挥官(负责响应、决策、协调、沟通、宣布解决)、运维负责人(执行技术修复、提出缓解方案、实施并测试变更)、沟通负责人(更新状态页、在事故频道发布、通知相关方、准备对外口径)、计划负责人(跟踪行动项、详细记录、关注响应者疲劳、协调交接班)。
- 沟通模板:初始通知(声明级别、服务、影响、开始时间、IC、状态频道、当前状态、下次更新)、状态更新(进度、缓解措施、预计解决时间)、解决通知(时长、影响、解决方式、后续步骤)。
- 无责复盘:模板含摘要、影响、时间线、根因、做得好与不好的地方、行动项(含优先级、负责人、截止日期)、经验教训。
- Runbook:示例含症状、影响、排查步骤、缓解措施、升级条件与预防措施。
- 最佳实践:无责文化(关注系统而非个人、假设善意、从错误中学习、鼓励透明)、明确的级别定义、定期开展演练(game days、不同场景、值班交接、复查 Runbook)、跟踪行动项(负责人、截止日期、例会复审、闭环、衡量完成时间)。
使用方式与限制:资料未提供具体安装命令、调用方式、平台集成或收费信息。文中 SQL 查询与监控链接仅为示例。作为技能文档,需结合具体环境落地。