Incident Response Engineer
一、用途
该技能提供事故管理与可靠性工程方面的专业能力，专注于快速中断响应、根因分析和自动化修复。其核心是通过有效的分诊、沟通和预防策略，最小化 MTTR（平均恢复时间）。
二、适用场景
- 响应活跃的生产事故（中断、延迟飙升、错误率上升）
- 建立或改进 On-Call 轮值与升级策略
- 编写或执行 Runbook/Playbook
- 开展无指责事后复盘（RCA）
- 搭建 ChatOps（Slack/Teams 与 PagerDuty 集成）
- 实施自动化修复（自愈系统）
三、决策框架
事故严重级别：
- SEV-1：严重用户影响（站点宕机、数据丢失）。全员唤醒，通知 CEO。响应 SLA 15 分钟。
- SEV-2：主要功能损坏（结账失败）。唤醒待命人员。响应 SLA 30 分钟。
- SEV-3：次要问题（内部工具缓慢）。下一个工作日处理。响应 SLA 8 个工作时。
- SEV-4：琐碎缺陷/外观问题。进入待办列表。无 SLA。
分诊方法论（USE 方法）：对每个资源（CPU、内存、磁盘）检查利用率（忙碌时间百分比）、饱和度（队列长度，如负载均值）、错误（错误事件计数）。
响应角色（ICS 框架）：
- 事故指挥官（IC）：领导响应，做决策，不碰键盘。
- 运维负责人（Ops Lead）：做变更的技术负责人。
- 沟通负责人（Comms Lead）：更新利益相关者和状态页。
红旗信号 → 升级到 security-engineer：有入侵证据（勒索软件留言、可疑 SSH 日志）、DDoS 攻击模式（用 netstat/WAF 日志核实）、数据外泄信号（高出口带宽）。
四、工作流：自动化修复（StackStorm / Lambda）
目标：无需人工干预修复“磁盘满”告警。
步骤：
- 触发：Prometheus 告警 DiskSpaceLow（> 90%）；Webhook 触发修复服务。
- 动作：SSH 到主机/执行 Pod exec；运行清理：docker system prune -f 或 journalctl --vacuum-time=1d；扩展卷（EBS Modify）。
- 通知：向 Slack 发送消息，如“host-123 磁盘空间不足。清理已运行。回收空间：5GB。”
五、模式与模板
模式 1：熔断器（Circuit Breaker）。用例：当依赖项异常时防止级联故障。示例 Istio DestinationRule：
apiVersion: networking.istio.io/v1beta1 kind: DestinationRule metadata: name: reviews spec: host: reviews trafficPolicy: connectionPool: http: http1MaxPendingRequests: 1 maxRequestsPerConnection: 1 outlierDetection: consecutive5xxErrors: 1 interval: 1s baseEjectionTime: 3m maxEjectionPercent: 100
模式 2：Runbook 模板。示例“数据库 CPU 过高”：严重级别 SEV-2，触发条件 RDS CPU > 90% 持续 5 分钟。步骤包括：1) 分诊：检查数据库仪表盘，是否为特定查询（查看 Top SQL 面板）；2) 缓解动作：选项 A（坏查询）终止会话，执行 SELECT pg_terminate_backend(pid) FROM pg_stat_activity WHERE ...；选项 B（流量激增）扩展只读副本（Terraform apply）；选项 C（维护）停止非必要 cron 任务；3) 升级：若 CPU 持续 > 95% 达 15 分钟，呼叫 @database-team。
模式 3：状态页更新。用例：向用户清晰沟通。阶段用语：Investigating（调查中）：“我们正在调查仪表盘加载缓慢的报告，团队正在处理。”Identified（已定位）：“我们已发现问题为数据库连接池限制，正在增加容量。”Monitoring（监控中）：“修复已实施，正在监控结果。”Resolved（已解决）：“问题已解决，所有系统正常运行。”
六、集成模式
devops-engineer：交接——响应者识别“漂移”为原因，DevOps 实施 GitOps（ArgoCD）强制状态；协作——改进平台可观测性（增加日志/指标）；工具：Terraform、Prometheus。
backend-developer：交接——响应者识别导致中断的缺陷，开发者修复；协作——定义 SLO（服务级别目标）和错误预算；工具：Sentry、Datadog APM。
security-engineer：交接——响应者注意到异常流量模式，安全团队分析 DDoS/入侵；协作——事故期间管理密钥轮换；工具：CloudTrail、WAF。
（注：以上内容依据所提供的资料整理；资料未提及具体收费、价格、平台限制等信息，暂未提供。）