SuperAPI AI 工具集

huawei-cloud-cce-chaos-experiment

通用与其它

查看项目

更新于 10-15 22:14

技能介绍

用途:在华为云 CCE 集群上做可用区级断电故障演练,关闭某一 AZ 内全部节点,观察节点变为 NotReady、Pod 被驱逐并重调度到其他 AZ,再开机验证恢复,用于检验集群跨 AZ 高可用能力。

主要能力:分三阶段。准备阶段发现 CCE 集群与节点 AZ 分布、校验跨 AZ 容量与 PDB 约束、生成并部署实验配置;执行阶段经预检查、关机(ECS BatchStopServers)、监控、等待、回滚(BatchStartServers)、验证六步,产出 execution-log.json;分析阶段收集 CCE Pod 日志、LTS 日志与 Kubernetes 事件,按错误模式分类并生成 Markdown 报告。

使用方式:需 hcloud CLI(配置 AK/SK,具备 ECS 与 CCE 权限)、kubectl、Python 3,环境变量 HW_ACCESS_KEY、HW_SECRET_KEY、HW_REGION_NAME(未设默认 cn-north-4)。先运行 bash scripts/check_env.sh,再依次执行 discover_cce.py、validate_targets.py、generate_experiment.py、deploy_experiment.sh,随后 execute_experiment.py(支持 --dry-run 与 --auto-rollback),最后 analyze_logs.py、collect_logs.py、generate_analysis_report.py。集群与 AZ 需用户交互选择,不自动选定。

适用场景:单 AZ 断电演练、跨 AZ 容量与重调度验证、故障影响与日志分析。

限制:依赖 hcloud CLI 与 kubectl 权限;跨 AZ 容量基于节点可分配资源而非实时用量;仅能获取存活 Pod 日志,已删除 Pod 日志不可得;LTS 查询需集群安装 ICAgent;仅覆盖单 AZ 断电,不支持复合场景。默认时长 300 秒。