SuperAPI AI 工具集

kafka-streams-programming

数据与分析

查看项目

更新于 10-16 05:03

技能介绍

用途:帮助用户设计拓扑、生成可运行的 Kafka Streams 项目,并排查启动失败、处理停滞、重平衡循环、性能、反序列化、状态存储、线程与内存等问题。支持 Apache Kafka、Confluent Platform、Confluent Cloud、WarpStream 四种环境,回答前需先确认目标环境。

三种模式:架构模式把数据问题映射为 KStream/KTable/GlobalKTable、join、窗口、聚合等原语;构建模式收集主题与数据流、Schema 格式(Avro/Protobuf/JSON Schema)、构建工具(Gradle/Maven)、环境、凭据、部署规模,生成项目结构、schema、App.java、TopologyBuilder.java、配置、docker-compose、脚本与 TopologyTest.java;调试模式按症状分类并给出修复方案。

用法要点:本地环境用 docker compose up -d、./create-topics.sh、./gradlew run,并确认状态由 REBALANCING 转为 RUNNING;Confluent Cloud 或 WarpStream 若无真实凭据,只运行 ./gradlew build 并列出用户需自行执行的验证命令,不得虚构运行成功。

默认约定:Schema Registry serdes、KS 4.x / CP 8.x 与 Java 17+、group.protocol=streams(KIP-1071)、四层异常处理、ensure.explicit.internal.resource.naming=true、优雅关闭与监控指标;TopologyTestDriver 测试需设 statestore.cache.max.bytes=0。WarpStream 需应用其覆盖配置,如默认 at_least_once、不设 fetch.min.bytes、replication.factor 不调优、client.id 加 ws_az。参考文件按需读取。具体收费、价格与更多细节暂未提供。