SuperAPI AI 工具集

managing-amazon-msk

数据与分析

查看项目

更新于 10-15 17:23

技能介绍

该技能面向 Amazon MSK Provisioned 集群的运维,覆盖 Standard 与 Express 两种代理类型。首要步骤是确认代理类型:执行 aws kafka describe-cluster-v2 --cluster-arn <arn>,查看 Provisioned.BrokerNodeGroupInfo.InstanceType 是否以 express. 开头。Standard 代理使用客户托管的 EBS 存储,需自行选择 kafka.m5/m7g 实例、配置 EBS 并管理扩容;Express 代理使用 express.m7g 系列实例,无客户托管 EBS,不要对 Express 建议扩展 EBS 或预置吞吐。Express 代理固定副本因子为 3、min.insync.replicas=2。

主要能力按任务分工:性能与延迟问题参考 troubleshoot-performance.md;消费延迟上升、重平衡风暴、消费者组卡死参考 troubleshoot-consumer-lag.md;磁盘占满、保留策略与分层存储参考 manage-storage.md;Standard 与 Express 选型、分区上限、代理数量与月度成本参考 size-and-choose-cluster.md;生产者/消费者配置与 IAM/SCRAM/TLS 认证参考 configure-clients.md;创建与应用 MSK 配置、custom.advertised.listeners 自定义域名参考 configure-cluster.md;监控仪表盘与告警参考 monitor-and-alarm.md;滚动重启、补丁与维护参考 maintenance-operations.md。还可将数据传输至 S3 Tables 上的 Apache Iceberg 表(streaming-tables.md),或以 JSON/ByteArray/String 形式投递到通用 S3 存储桶(data-delivery-for-general-purpose-s3.md),后者仅支持 Express 代理;Standard 与 Serverless 需用 Firehose、Flink 或 Kafka Connect。

执行方式:连接 AWS MCP 服务器时优先通过其工具执行命令,以获得沙箱执行、审计日志与可观测性;不可用时回退到 AWS CLI 或 shell。任何选型问题(代理数量、实例选择、成本)必须先运行 scripts/msk_sizing.py。注意加载方式:通过 AWS MCP 的 retrieve_skill 加载时技能文件不在本地磁盘,必须用同一工具的 file 参数获取每个参考或脚本;本地安装时则从本地技能目录按相对路径读取和运行。不要在本机文件系统查找这些文件,也不要用 retrieve_skill 获取或写入客户数据。Express 与 Standard 的当前配额、支持的 Kafka 版本、ZooKeeper 到 KRaft 迁移等细节见对应参考文档。资料未提供具体价格数值、各参考文档完整内容及脚本输出细节。