SuperAPI AI 工具集

running-chaos-tests

测试与质量

查看项目

更新于 10-15 23:28

技能介绍

用途:执行受控的混沌工程实验,测试系统弹性、容错与恢复能力。通过注入网络延迟、服务崩溃、资源耗尽和依赖中断等故障,验证系统能否优雅降级并自动恢复。

前提条件:已部署分布式系统或微服务架构(预发布/测试环境);已配置监控告警(Grafana、Datadog、CloudWatch 或 Prometheus);具备回滚能力;已安装混沌工程工具(toxiproxy、Pumba、Litmus 或 Chaos Mesh);获得团队明确批准;已定义稳态假设。

主要流程与能力:定义稳态假设与爆炸半径;按类别设计实验(网络、进程、依赖、状态);从最小影响逐步升级;执行时设置最长实验时长(5-15 分钟)、自动回滚触发(如错误率 > 5% 中止)和手动终止开关;观察并记录断路器、自动扩缩、重试、回退和告警行为;实验后验证恢复并记录行动项。

输出:实验定义文件(YAML/JSON)、执行日志、系统行为报告、恢复时间线、改进行动项。

限制与错误处理:实验可能导致生产中断,务必先在预发布环境运行并缩小范围;系统未恢复需补充健康检查重启、自动扩缩或断路器;监控漏报需收紧阈值;工具无法访问目标需调整网络或安全策略;数据损坏难以回滚,应先用只读混沌并快照数据库。示例命令与配置可参考原文 toxiproxy、Litmus 与自定义脚本片段。