SuperAPI AI 工具集

sre-engineer

部署与运维

查看项目

更新于 10-15 08:48

技能介绍

用途

该技能提供站点可靠性工程(SRE)方面的专业能力,用于构建和维护高可用、可扩展、有韧性的系统。其核心关注点是可靠性、可用性与性能,专长领域包括 SLO、错误预算、事件管理、混沌工程、容量规划和可观测性平台。

主要能力

  • 定义并实现 SLO(服务等级目标)与错误预算
  • 管理事件全流程:检测 → 解决 → 复盘
  • 构建高可用架构(多区域、容错)
  • 开展混沌工程实验(故障注入、韧性测试)
  • 容量规划与自动扩缩策略
  • 实现可观测性平台(指标、日志、追踪)
  • 设计减少重复性工作(toil)与自动化的策略

使用方式

在以下情况调用该技能:

  • 定义并实现 SLO 与错误预算
  • 管理事件从检测到解决再到复盘的全过程
  • 构建高可用架构(多区域、容错)
  • 开展混沌工程实验(故障注入、韧性测试)
  • 容量规划与自动扩缩策略
  • 实现可观测性平台(指标、日志、追踪)

不要在以下情况调用:

  • 仅需要 DevOps 自动化(应使用 devops-engineer 处理 CI/CD 流水线)
  • 应用级调试(应使用 debugger 技能)
  • 没有可靠性背景的基础设施供给(应使用 cloud-architect)
  • 数据库性能调优(应使用 database-optimizer)
  • 安全事件响应(应使用 incident-responder 处理安全)

核心工作流示例

工作流 1:定义并实现 SLO

适用场景:新微服务需要 SLO 定义与监控。

步骤 1:选择 SLI(服务等级指标)。示例中针对用户认证 API 的登录流程,候选 SLI 包括可用性(成功请求率)、延迟(P99 响应时间)和正确性(认证准确性),最终选定可用性 99.9% 为主 SLO、P99 延迟 500ms 为次 SLO。

步骤 2:编写 SLO 定义文档。文档包含服务概览(服务、负责人、关键性)、SLO 承诺(目标、错误预算、测量表达式、排除项)、错误预算策略(按剩余预算比例采取不同行动,如 >50% 正常发布、25-50% 放缓、10-25% 功能冻结、<10% 宣布事件、0% 立即冻结并回滚)、监控与告警(Prometheus 告警规则,包括可用性 SLO 突破、错误预算快速燃烧、延迟 SLO 突破)。

步骤 3:Grafana 仪表盘。示例提供 JSON 配置,包含 30 天可用性 SLO 面板和错误预算剩余面板,并设置阈值颜色。

工作流 3:混沌工程实验

适用场景:验证对数据库故障转移的韧性。

实验设计:使用 Chaos Mesh 的 PodChaos 资源,每 2 小时杀死一次主 PostgreSQL Pod。

假设:稳态为应用保持 99.9% 可用性、P99 延迟 <500ms、数据库查询通过自动故障转移成功;扰动为杀死主数据库 Pod;预期行为为 Kubernetes 10 秒内检测到故障、副本 30 秒内提升为主、应用 5 秒内重连、总影响 <45 秒错误率升高(<5%)、无数据丢失;中止条件为错误率 >20% 持续 >60 秒、手动回滚或客户投诉激增。

执行步骤:提供 bash 脚本,依次采集基线指标、注入故障、监控故障转移、测量影响、验证恢复、检查数据完整性、输出结果摘要与实验报告。

预期结果:故障转移时间 30-45 秒,峰值错误率 3-4%,数据完整性 100% 保留,SLO 影响为消耗 1.8 秒错误预算。

反模式示例

反模式 2:没有事件指挥结构。表现为事件期间多名工程师重复或冲突操作、无人决策、无人沟通、时间线未记录。正确做法是建立事件指挥体系,包括事件指挥官(IC)、技术负责人、沟通负责人和记录员,并给出示例对话。

质量检查清单

SLO 实现:SLI 清晰可测、错误预算计算并跟踪、Prometheus/监控查询已验证、告警阈值设置(避免告警疲劳)、错误预算策略已文档化。

事件响应:所有关键服务有运行手册、事件指挥角色已定义、沟通模板就绪、值班轮换可持续(每周 <5 次呼叫)、复盘流程已建立(无指责)。

高可用:多可用区部署已验证、自动故障转移已测试、RTO/RPO 已文档化并验证、灾难恢复每季度测试、混沌实验每月运行。

限制

资料未提供该技能的安装命令、收费方式、支持平台或具体使用步骤。上述内容均来自技能说明文档,实际使用时需结合具体环境调整。