SuperAPI AI 工具集

incident-commander

部署与运维

查看项目

更新于 10-14 21:10

技能介绍

用途

Incident Commander 是一个面向可用性与可靠性事故的应急响应框架技能,适用于服务中断、性能降级、部署失败等运维场景。它覆盖从检测、分类、响应、恢复到事后复盘的完整流程。需要特别注意的是,该技能不用于安全事件的分诊处理;对于勒索软件、入侵、数据外泄、IOC 分析、NIST SP 800-61 取证等安全事件,应转交 incident-response 技能。两者都使用 SEV1-SEV4 标签,但本技能评估的是运营影响(用户、收入、SLA),而 incident-response 分类的是攻击类型与取证处理。

主要能力

该技能包含以下核心工具:

  • Incident Classifier(incident_classifier.py):分析事故描述并输出严重级别,推荐响应团队与初始行动,并根据严重级别生成沟通模板。
  • Timeline Reconstructor(timeline_reconstructor.py):处理来自多个来源的带时间戳事件,重建按时间顺序排列的事故时间线,识别缺口并提供持续时间分析。
  • PIR Generator(pir_generator.py):创建全面的 Post-Incident Review 文档,应用多种根因分析框架(5 Whys、鱼骨图、时间线),并生成可执行的后续行动项。

此外,技能还提供严重级别分类体系、事故指挥官角色职责、决策框架、沟通模板、干系人管理以及运行手册生成框架。

严重级别分类体系

  • SEV1 - 严重中断:影响所有用户或关键业务功能的完全服务故障。特征包括面向客户的服务完全不可用、影响用户的数据丢失或损坏、涉及客户数据暴露的安全漏洞、创收系统宕机、带有财务处罚的 SLA 违规。响应要求:立即升级至值班工程师,5 分钟内指派事故指挥官,15 分钟内通知高管,15 分钟内更新公共状态页,建立作战室,必要时全员投入。沟通频率:解决前每 15 分钟一次。
  • SEV2 - 重大影响:影响部分用户或非关键功能的显著降级。特征包括部分服务降级(超过 25% 用户受影响)、导致用户不满的性能问题、非关键功能不可用、影响生产力的内部工具、不影响用户体验的数据不一致。响应要求:值班工程师 15 分钟内响应,30 分钟内指派事故指挥官,30 分钟内更新状态页,1 小时内通知干系人,定期团队更新。沟通频率:活跃响应期间每 30 分钟一次。
  • SEV3 - 轻微影响:影响有限且有可用变通方案。特征包括单个功能或组件受影响、少于 25% 用户受影响、有变通方案、性能降级未显著影响用户体验、非紧急监控告警。响应要求:工作时间内 2 小时内响应,非工作时间可次日响应,内部团队通知,可选状态页更新。沟通频率:仅在关键里程碑时。
  • SEV4 - 低影响:影响极小、外观问题或计划内维护。特征包括外观缺陷、文档问题、日志或监控缺口、无用户影响的性能问题、开发/测试环境问题。响应要求:1-2 个工作日内响应,标准工单跟踪,无需特殊升级。沟通频率:标准开发周期更新。

事故指挥官角色

主要职责包括:指挥与控制(主导响应流程、做出资源分配的关键决策、协调技术团队与干系人、保持对所有响应流的态势感知);沟通枢纽(向干系人提供定期更新、管理外部沟通、促进响应团队间有效沟通、为响应者屏蔽外部干扰);流程管理(确保正确的事故跟踪与文档记录、在保持质量的同时推动解决、协调团队成员间的交接、必要时规划并执行回滚策略);事后领导(确保进行彻底的事后复盘、推动预防措施的实施、向更广泛的组织分享经验教训)。

决策框架方面,SEV1/2 紧急决策中事故指挥官拥有完全权限,偏向行动而非分析,记录决策以供后续审查,咨询主题专家但不被阻塞。资源分配上可调动任何必要团队成员,有权升级至高层领导,可批准外部资源的紧急支出,决定沟通渠道与时机。技术决策上依赖技术负责人处理实现细节,对速度与风险之间的权衡做最终决定,批准回滚还是修复前进的策略,协调测试与验证方法。

沟通模板

技能提供多种预置模板:初始事故通知(SEV1/2),包含事故详情、技术细节、响应团队、下次更新时间、状态页与作战室链接;高管摘要(SEV1),包含客户影响与业务影响的简要描述、关键指标(检测时间、参与时间、估计客户影响、当前状态、预计解决时间)、需要领导层采取的行动;客户沟通模板,包含已知情况、正在采取的措施、变通方案(如有)、下次更新时间与状态页链接。

干系人管理

内部干系人包括工程领导、产品管理、客户支持、销售/客户管理、高管团队、法律/合规。外部干系人包括客户、合作伙伴、供应商、监管机构、公众/媒体。技能还提供了按干系人划分的沟通节奏表,例如 SEV1 时工程领导实时沟通、高管团队每 15 分钟、客户支持实时、客户每 15 分钟、合作伙伴每 30 分钟。

运行手册生成框架

动态运行手册组件包括:检测手册(监控告警定义、分诊决策树、升级触发点、初始响应行动);响应手册(逐步缓解程序、回滚说明、验证检查点、沟通检查点);恢复手册(服务恢复程序、数据一致性检查、性能验证、用户通知流程)。运行手册模板结构包含快速参考、检测、初始响应(0-15 分钟)、缓解策略、恢复与验证、常见陷阱、参考信息等部分。

使用方式

技能提供命令行使用示例。例如分类事故:

echo '{"description": "Users reporting 500 errors, database connections timing out", "affected_users": "80%", "business_impact": "high"}' | python scripts/incident_classifier.py

重建时间线:

python scripts/timeline_reconstructor.py --input assets/sample_timeline_events.json --output timeline.md

生成 PIR:

python scripts/pir_generator.py --incident assets/sample_incident_data.json --timeline timeline.md --output pir.md

也支持从标准输入快速分类:

echo "API rate limits causing customer API calls to fail" | python scripts/incident_classifier.py --format text

从多来源构建时间线:

python scripts/timeline_reconstructor.py --input assets/simple_timeline_events.json --detect-phases --gap-analysis

生成综合 PIR:

python scripts/pir_generator.py --incident assets/sample_incident_pir_data.json --rca-method fishbone --action-items

适用场景

适用于 SRE/DevOps 团队处理可用性与可靠性事故,包括服务中断、性能降级、部署失败等。可用于事故严重级别判定、时间线梳理、事后复盘文档生成、干系人沟通以及运行手册编写。

限制

该技能不用于安全事件分诊。对于安全事件(勒索软件、入侵、数据外泄、IOC 分析、NIST SP 800-61 取证),应转交 incident-response 技能。技能中提到的与 PagerDuty、Opsgenie、Datadog、Grafana、ELK、Splunk、Slack、Teams、Zoom、Statuspage.io、Confluence、Notion、GitHub、GitLab、JIRA、Linear 等工具的集成属于建议性集成方向,具体集成实现细节暂未提供。