SuperAPI AI 工具集

chaos-engineering

部署与运维

查看项目

更新于 10-26 18:22

技能介绍

用途\n该技能用于指导混沌工程的落地,即在生产系统中运行受控的故障实验,并把实验结果转化为系统韧性改进。适用场景包括:设计混沌实验或故障注入方案;从零搭建混沌工程流程;实现网络延迟、丢包或依赖服务故障;规划并主持 game day;在真实故障条件下验证熔断、重试或故障转移逻辑;度量并改进 MTTR;评估混沌工具(Chaos Monkey、Litmus、Gremlin、AWS Fault Injection Simulator)。资料明确说明:仅编写常规重试或熔断代码、不打算做混沌测试时,以及不涉及故障注入的负载测试或性能基准测试时,不应使用此技能。\n\n核心原则\n1)先定义稳态再动手:实验前必须写明证明系统健康的精确指标(如 p99 延迟、错误率、成功数);若系统已劣化,应先修复。2)先在预发环境小范围开始,再逐步进入生产:假设在预发验证、爆炸半径明确后才进入生产,且生产中也先针对小流量比例或单个可用区。3)最小化爆炸半径:把故障隔离到一个服务、一台主机或一个区域,并在开始前准备好终止开关。4)先写假设再注入故障:假设包含“条件—预期行为—度量依据”三部分。5)将实验自动化并持续运行:目标是形成 CI/CD 中的韧性门禁,而不是季度演练。\n\n核心概念\n稳态假设:模板为“正常条件下,[服务] 的 [指标] 为 [基线值];引入 [故障条件] 后,[指标] 仍保持在 [可接受范围],因为 [韧性机制] 会补偿”。稳态指标采用 RED 方法:Rate(每秒请求数)、Errors(错误率)、Duration(延迟分位数 p50/p95/p99)。\n\n爆炸半径:即实验出错时的最大潜在影响,必须事先量化,可从流量比例(功能开关、金丝雀路由)、基础设施范围(按可用区标签定向)、服务范围(单 Pod/单主机)、时间范围(带超时的自动终止开关)几个维度约束。\n\n实验生命周期:定义(写稳态假设与成功/失败标准)→ 划定范围(环境、爆炸半径、回滚机制)→ 埋点(确认可观测性到位)→ 运行(注入故障并实时观察)→ 分析(稳态是否保持、真实失败模式)→ 改进(修复缺口、更新 runbook、自动化)→ 重复(确认修复并扩大范围)。\n\n故障模式分类:网络(延迟、丢包、DNS 失败、网络分区;工具 tc netem、Toxiproxy、Gremlin)、资源(CPU 饱和、内存压力、磁盘满、文件描述符耗尽;stress-ng、Chaos Monkey)、依赖(服务不可用、响应慢、错误响应;Wiremock、Litmus、FIS)、基础设施(Pod kill、节点排空、可用区故障、区域切换;Chaos Monkey、Litmus、FIS)、应用(异常注入、时钟偏移、线程池耗尽;Byte Monkey、自定义中间件)、数据(载荷损坏、字段缺失、模式不匹配;自定义模糊测试工具)。\n\n常见任务\n设计实验:资料提供完整实验记录模板,包含日期、假设、稳态基线与测量方式、故障注入(工具、目标、类型、时长)、爆炸半径(范围、影响流量、终止开关)、成功标准、失败标准、结果、发现与后续动作。\n\n网络延迟注入:服务级推荐 Toxiproxy,先启动服务端,创建指向下游服务的代理,再添加带抖动的延迟 toxic,把服务指向代理端口后运行实验,最后移除 toxic 作为终止开关。主机级使用 tc netem,例如为 eth0 出站流量增加 300ms 延迟加 30ms 抖动,或 10% 丢包,删除 qdisc 即恢复。资料强调实验前必须先测试终止开关。\n\n依赖故障模拟:用 Wiremock 对 /api/stock 路径返回 100% 503 并加 5 秒延迟,然后验证熔断器打开日志、熔断状态指标、降级响应生效、下游错误不传导到用户侧错误率、依赖恢复后熔断器关闭、告警在 SLO 窗口内触发。\n\nGame day:资料给出两周准备清单(选定真实场景、书面定义范围与爆炸半径、确认值班与升级路径、向参与者简报、建立专用 Slack 频道与共享看板)和三小时议程:启动与角色分配(事故指挥官、混沌操作员、记录员、观察员)、基线检查、注入故障并像真实事故一样响应、停止注入并确认恢复、趁记忆新鲜做热复盘、为每个缺口建立带负责人与截止日期的工单。产出包括更新后的 runbook、带 SLO 对齐期限的行动项、记录 MTTR 作为下次基准。\n\n数据库故障转移测试:先确认复制延迟接近零,后台持续写入探针数据,再触发副本提升或云厂商故障转移 API,观察应用重连耗时、是否丢写、健康检查是否及时、连接池是否无需重启即可恢复,最后统计连接中断时长、数据丢失行数与恢复时间;成功标准是 30 秒内重连、零数据丢失、无需重启应用。\n\n熔断器验证:资料给出 pytest 示例,断言失败达到阈值后熔断器打开、打开状态下不再调用依赖、重置超时后进入半开并允许一次试探调用、成功后关闭。预发实验流程为:配置熔断器部署、用 Toxiproxy 让依赖返回 503、验证熔断打开与降级、移除 toxic 后验证半开与关闭。\n\nMTTR 改进:MTTR = 检测 + 分诊 + 响应 + 恢复。资料给出 Prometheus 错误率示例查询,并按阶段给出改进手段:检测阶段缩短燃烧率窗口、增加合成监控;分诊阶段在告警正文中直接链接 runbook;响应阶段自动化修复步骤;恢复阶段在部署流水线中加入健康检查门禁。建议按故障类别分别跟踪 MTTR,而不是只看平均值。\n\n反模式与注意事项\n反模式包括:未在预发验证就上生产;没有假设就开始;缺少终止开关;没有可观测性;一次性演练而不自动化;首次就在生产全量范围进行。注意事项包括:先测终止开关再实验;确认指标管道不依赖被注入故障的目标;预发与生产行为可能因流量规模、连接池配置、基础设施配置不同而不一致。\n\n限制\n资料未提供该技能的安装方式、许可、价格或平台支持信息;分类依据其用途归入部署与运维。