kafka-streams-topology

用途：该技能提供 Kafka Streams 库的专家知识，用于在 Java/Kotlin 中设计和实现流处理拓扑，适合需要拓扑设计、KStream 与 KTable 选型、流操作、join、窗口、精确一次语义（EOS）或拓扑优化帮助的场景。

核心抽象：KStream 表示不可变事件序列，每条记录是独立事件，适合点击流、交易、传感器读数；KTable 表示按 key 的最新可变状态（压缩主题），适合用户画像、商品目录、账户余额；GlobalKTable 是全量复制到每个实例的只读表，无分区，适合国家、商品等参考数据查找。

主要能力：

1. 拓扑模式：过滤与转换（filter/mapValues）、按条件分支（split/branch）、流-表 join 富化、窗口聚合计数、用状态存储做有状态处理（如 10 分钟内去重）。
2. Join 类型：流-流（带时间窗口）、流-表（左连接）、表-表（内连接）、流-GlobalKTable（无需重分区）。
3. 窗口策略：滚动窗口（不重叠）、跳跃窗口（重叠移动平均）、会话窗口（按不活跃间隔）、滑动窗口（连续检测）。
4. 最佳实践：正确选择分区键避免重分区、为复杂类型指定 Serde、启用 EOS（EXACTLY_ONCE_V2）、用 Materialized 命名状态存储以支持交互式查询、合并操作与复用 KTable 做拓扑优化。
5. 测试：使用 TopologyTestDriver 创建输入/输出主题并断言结果。
6. 常见问题：主题未共同分区导致的 StreamsException、大状态存储导致 OOM、高延迟慢处理，均给出对应解决方向。

使用方式：以 Java/Kotlin 代码在 StreamsBuilder 中构建拓扑，通过 builder.stream/table/globalTable 接入数据，配合 filter、mapValues、split、join、groupByKey、windowedBy、count、transformValues 等算子，最后 to 输出或构建 Topology 供运行与测试。必要命令与代码保持原样，例如 Materialized.as("click-counts-store")、Stores.persistentKeyValueStore("dedup-store")、StoreQueryParameters.fromNameAndType("user-counts", QueryableStoreTypes.keyValueStore())。

限制与说明：该技能聚焦拓扑设计与编码实践，未提供具体收费、价格、平台支持范围或性能基准数据；具体 API 行为与配置项以 Kafka 官方文档为准。官方文档链接：https://kafka.apache.org/documentation/streams/，教程：https://kafka.apache.org/documentation/streams/tutorial，测试指南：https://kafka.apache.org/documentation/streams/developer-guide/testing.html。