SuperAPI AI 工具集

kafka-streams-programming

数据与分析

查看项目

更新于 10-16 06:22

技能介绍

用途:把数据流处理问题翻译成 Kafka Streams 原语,辅助设计拓扑、生成可运行 JVM 项目并排查运行故障。工作时分三种模式:架构模式推荐拓扑模式(join、window、enrichment、exactly-once 等决策树),构建模式产出项目结构、Schema、App.java、TopologyBuilder.java、配置、脚本、TopologyTest 与监控注释,调试模式按启动失败、处理停滞、rebalancing、性能、反序列化、状态存储、线程失败、内存等类别定位问题。

用法与要点:回答前先确认目标环境(Apache Kafka、Confluent Platform、Confluent Cloud、WarpStream),配置、认证、ACL、事务等均随环境变化;参考文件按需惰性读取,不预先全部加载。生成项目时 Schema 默认 Avro,构建工具默认 Gradle,创建构建文件后执行 gradle wrapper --gradle-version 8.12。若选 WarpStream,需叠加其优化覆盖:默认建议 at_least_once 配合下游去重,EOS 有显著吞吐成本;覆盖生产与消费配置,不设置 fetch.min.bytes,replication.factor 无需调整,client.id 建议带 ws_az=<az> 以启用区域感知路由。

交付前要求对真实 broker 实跑:本地用 docker compose up -d、./create-topics.sh、./gradlew run,并在约 30 秒内观察到状态从 REBALANCING 变为 RUNNING;Confluent Cloud 与 WarpStream 若无真实凭据,只执行 ./gradlew build 并列明用户需自行运行的验证命令,不虚构成功运行。多个技能内容涉及大量具体配置与脚本,此处仅概括,请以原始资料为准。