用途:针对 Amazon MSK Provisioned 集群(Standard 与 Express 代理)进行日常运维与临时事件响应,包括健康评估、监控设置、性能退化、消费延迟、存储写满、TrafficShaping 事件、副本不足分区、代理意外重启等。不适用于 MSK Connect、MSK Serverless、MSK Replicator。
先定代理类型:aws kafka describe-cluster-v2 --cluster-arn <cluster-arn>,查看 ClusterInfo.Provisioned.BrokerNodeGroupInfo.InstanceType。kafka.* 为 Standard,express.* 为 Express。Standard 使用用户管理的 EBS,有维护窗口;Express 存储全托管、无维护窗口,固定 RF=3 与 min.insync.replicas=2,无法创建 RF=1 主题。
主要能力与用法:
- 快速诊断五项检查:CPU 高时先查客户端 batch.size/linger.ms(linger.ms=0 是 MSK 高 CPU 首因);Standard 磁盘 KafkaDataLogsDiskUsed>85% 时建议用 aws kafka update-broker-storage 扩容;URP>0 时不得重启或重分配分区;消费 OffsetLag 上升需分辨服务端或客户端;BytesInPerSec 接近吞吐上限时 Standard 对比 EBS 吞吐、Express 对比每代理配额。
- 运维评审工作流:识别目标集群、判定代理类型、采集配置(describe-cluster-v2、list-nodes、get-bootstrap-brokers、list-cluster-operations-v2、describe-configuration-revision)、检测监控级别与缺口、采集 AWS/Kafka 近 7 天 CloudWatch 指标、检查告警覆盖、按七维度评估。
- 参考文件按意图路由:性能排查、消费延迟、存储管理、监控告警、维护操作、客户端配置。
- 集群规模与费用问题应参考 Amazon MSK 最佳实践文档,不凭记忆给出。
限制:该技能为只读,所有变更类命令(update-broker-storage、create-configuration、update-cluster-configuration、update-monitoring、put-metric-alarm、reboot-broker、分区重分配)仅作为带预期影响与前置条件的建议,不得执行。URP>0 时不得重启代理。分区重分配前必须先检查副本状态。Express 无 EBS,不得建议扩容 EBS。Express 不发出 URP、UnderMinIsrPartitionCount、HeapMemoryAfterGC、TrafficShaping、Volume*、KafkaDataLogsDiskUsed 等指标。详细指标阈值与告警清单见对应参考文件。