SuperAPI AI 工具集

run-chaos-experiment

设计与创作

查看项目

更新于 10-16 08:06

技能介绍

用途:借助 Chaos Mesh 或 Litmus,在 Kubernetes 中注入受控故障,测试并改进系统韧性,常用于产品发布前负载验证、架构变更后韧性验证、GameDays 或灾难恢复演练,以及 SRE 成熟度建设。

主要能力:按步骤定义稳态与假设(可用性、延迟、吞吐量和 PromQL 指标);设置爆炸半径限制(环境、目标数量、时间窗口、自动中止与回滚);安装 Chaos Mesh 或 Litmus;创建并执行 Pod 杀灭等实验;用 Grafana 监控错误率、延迟和 Pod 重启;分析结果、记录 CSV 日志并迭代;在多次预发成功后谨慎推进到生产。

必要用法:安装 Chaos Mesh 使用 helm repo add chaos-mesh https://charts.chaos-mesh.org、helm repo update、helm install chaos-mesh chaos-mesh/chaos-mesh --namespace chaos-mesh --create-namespace --set dashboard.create=true --set controllerManager.replicaCount=1,并用 kubectl get pods -n chaos-mesh 验证;Litmus 使用 kubectl apply -f https://litmuschaos.github.io/litmus/litmus-operator-v2.14.0.yaml 等命令。回滚可执行 kubectl rollout undo deployment/api。实验清单通过 kubectl apply -f pod-kill-experiment.yaml 应用,并用 kubectl get podchaos -n chaos-testing -w 查看状态。

适用场景与限制:需要 Kubernetes 集群、稳态定义和假设;建议先用预发环境并限制爆炸半径,避免影响数据库、支付、认证等关键路径;需有可观测性栈、回滚计划和终止开关,否则不应开展。生产实验仅建议在 5 次以上预发成功之后、低风险时间窗口内进行。若无法定义稳态,说明可观测性不足,应先补齐指标。