用途:该技能聚焦 Apache Kafka 的部署、监控与运维工具,适用于在 Kubernetes 上部署 Kafka、使用 Terraform 配置集群、搭建监控告警,以及通过 CLI 执行运维任务和排查问题。
主要能力:
- Kubernetes 部署:支持 Strimzi Operator(开源方案)、Confluent for Kubernetes(企业方案),以及 MSK、Confluent Cloud 等托管服务。示例清单定义 Kafka 副本数、监听器、持久化存储与 ZooKeeper。
- 基础设施即代码:提供 Terraform 模块,用于 AWS MSK、Confluent Cloud、Aiven 的集群开通,以及网络与安全配置。示例资源包含 kafka_version、broker 节点数、实例类型、子网与安全组、EBS 存储卷。
- 可观测性:Prometheus 指标采集(JMX exporter)、Grafana 看板、消费延迟监控与告警配置。关键指标如 kafka_server_brokertopicmetrics_messagesin_total、kafka_consumer_consumer_fetch_manager_metrics_records_lag、kafka_server_replicamanager_underreplicatedpartitions。
- CLI 工具:kcat、kafkactl 及内置 kafka-console-* 工具。示例命令包括:echo '{"event":"order.created"}' | kcat -P -b localhost:9092 -t orders;kcat -C -b localhost:9092 -t orders -o beginning;kafkactl describe topic orders;kafkactl get consumer-groups;kafkactl describe consumer-group order-processor。
使用限制:资料提示大段 Kafka 基础设施代码常超过 800 行,建议按每次响应只生成一个组件,顺序为 Deployment、Monitoring、CLI Tools、Automation。具体收费、平台限制、版本支持范围等资料未提供。