SuperAPI AI 工具集

huawei-cloud-dcs-failover

通用与其它

查看项目

更新于 10-30 04:53

技能介绍

用途

该工具用于在华为云上安全地执行 DCS(Redis)主备倒换演练,验证实例在 AZ 断电(主节点故障)场景下的高可用能力。它通过三阶段流水线运行:prepare(检查 + 风险评估)→ execute(执行倒换)→ report(生成报告)。

当用户需要进行 DCS 主备倒换、主备切换、故障演练、AZ 断电演练、高可用验证或容灾演练等操作时触发。

主要能力

prepare(准备检查)

  • 查询目标 DCS 实例(ListInstances + ShowInstance),查询主备节点信息(ShowNodesInformation)
  • 检查 IAM 权限(hcloud 认证状态、DCS 读写权限、倒换权限)
  • 生成配置文件(experiment.json、iam_policy.json、monitoring.json)
  • 架构硬性校验(11 项):ha 类型、RUNNING 状态、主备节点存在、跨 AZ 等,必需项不通过即阻断
  • 风险评估三步流水线:检测(只读探测实例状态、主备节点健康、备份新鲜度、CES 负载指标)→ 评估(按阈值分级 info/unknown/warning/critical,汇总为 low/medium/blocked)→ 阻断(结果写入 risk_assessment.json)

execute(倒换执行)

  • 加载配置并预检(实例存在、ha、RUNNING、IAM 权限)
  • 读取 risk_assessment.json,存在 critical 项且用户未确认时默认阻断
  • 校验风险评估与目标实例一致性,防止换实例后复用旧评估
  • 倒换前实时复查实例与节点状态
  • 调用 ChangeMasterStandby 执行主备倒换
  • 每 5 秒轮询节点状态,等待主备角色切换完成(超时 120 秒)
  • 数据一致性检查(主节点移至备 AZ、node_id 变化、key 数量)
  • 结果保存至 execution_result.json

report(报告生成)

  • 输出独立 HTML 报告:结果横幅、实例信息、安全检查、主备拓扑变化、倒换时间线、数据一致性检查
  • 所有来自云 API 的外部数据经 HTML 转义,防止存储型 XSS

使用方式

前置条件:hcloud CLI(KooCLI >= 3.0.0)已安装并认证;AK/SK 通过 hcloud profile 配置;Python 3.8+;目标区域存在 ha 类型主备实例且状态为 RUNNING。

先在 config/config.json 中填写 region 与 instance_id(默认值为占位符,直接使用会失败)。

一键全流程:

python3 scripts/run.py

分阶段执行:

python3 scripts/run.py --phase prepare
python3 scripts/run.py --phase execute
python3 scripts/run.py --phase report

可选参数:--phase(prepare/execute/report/all,默认 all)、--force(跳过 critical 风险阻断强制演练,需人工确认)、--config-dir(配置目录,默认 experiments/)。

推荐对话式使用:用户只需表达“执行 DCS 主备倒换”,由智能体引导完成实例探测、目标确认、执行确认、写入配置、运行流水线并展示结果。倒换属于变更操作,执行前必须经用户确认;检测到 critical 风险时须二次确认,用户选项仅为“强制演练 / 取消演练”。

适用场景

  • DCS 主备实例的故障演练与 AZ 断电演练
  • 高可用与容灾能力验证
  • 主备角色互换与切换实验

限制

  • 仅支持 ha 类型主备实例,且实例状态须为 RUNNING
  • 倒换为真实变更操作,会切换主备角色并引起短暂连接中断,无 dry-run
  • 存在倒换冷却(DCS.4104),冷却期内重试会被拒绝
  • API 不可用或无权限时,相关检测项标记为 unknown,整体风险升为 medium,需人工确认
  • 评分由 execute 阶段计算并写入 execution_result.json 的 scores 字段,HTML 报告当前不渲染评分部分
  • 所需 IAM 权限:dcs:instance:list、dcs:instance:get、dcs:instance:getNodes、dcs:instance:modify、dcs:backup:list 为必需,ces:metricData:get 为可选