用途
本技能是一份面向 Apache Kafka 流处理的完整指南，用于构建事件驱动应用与实时数据处理系统。资料列出的适用场景包括：构建事件驱动微服务架构、处理实时数据流与事件日志、实现发布-订阅消息系统、创建用于分析与 ETL 的数据管道、构建带状态处理的流式数据应用、通过 Kafka Connect 集成异构系统、实现变更数据捕获（CDC）模式、构建实时仪表盘与监控系统、大规模处理 IoT 传感器数据、实现事件溯源与 CQRS 模式、构建需要保证消息投递的分布式系统、创建实时推荐引擎、以精确一次语义处理金融交易、构建日志聚合与监控管道。
主要能力
核心概念与架构
Kafka 是面向高吞吐、容错、实时数据处理的分布式流平台。关键组件包括：主题（Topics，组织消息的命名类别）、分区（Partitions，主题内有序且不可变的记录序列）、代理（Brokers，存储与提供数据的 Kafka 服务器）、生产者（Producers，向主题发布记录的应用）、消费者（Consumers，从主题读取记录的应用）、消费者组（Consumer Groups，协同分担负载的消费者）、ZooKeeper/KRaft（集群协调，ZooKeeper 为传统方式，KRaft 为现代方式）。
设计原则包括：高吞吐（每秒数百万条消息）、低延迟（个位数毫秒级）、持久性（复制且持久化存储）、可扩展性（通过分区水平扩展）、容错（自动故障转移与恢复）、消息投递语义（支持至少一次、精确一次）。
主题与分区
主题是数据流的逻辑通道，每个主题划分为多个分区以实现并行与扩展。分区特性：分区内消息严格有序、记录写入后不可修改、仅追加写入、可按时间或大小配置保留策略、每个分区跨代理复制。
创建主题示例：
$ bin/kafka-topics.sh --bootstrap-server localhost:9092 --create --topic my_topic_name \
--partitions 20 --replication-factor 3 --config x=y
增加分区示例（分区数不能减少）：
$ bin/kafka-topics.sh --bootstrap-server localhost:9092 --alter --topic my_topic_name \
--partitions 40
注意：增加分区不会重新分配已有数据，并可能影响使用自定义分区的消费者。
流分区与任务
Kafka 的消息层对数据分区以存储和传输，Kafka Streams 对数据分区以处理。Kafka Streams 以分区和任务作为并行模型的逻辑单元：每个流分区是有序数据记录序列，映射到一个 Kafka 主题分区；流中的数据记录映射到该主题的一条 Kafka 消息；数据记录的键决定 Kafka 与 Kafka Streams 中的数据分区方式。
应用的处理拓扑通过拆分为多个任务来扩展。Kafka Streams 根据输入流分区创建固定数量的任务，每个任务分配一组来自输入流（Kafka 主题）的分区。分区到任务的分配永不改变，因此每个任务是应用固定的并行单元。任务可基于分配的分区实例化自己的处理拓扑，并为每个分配的分区维护缓冲区，逐条处理消息。因此流任务可独立并行处理，无需人工干预。
简言之，应用可运行的最大并行度受最大流任务数限制，而流任务数由所读取输入主题的最大分区数决定。例如输入主题有 5 个分区，则最多可运行 5 个应用实例，它们协同处理该主题数据。若运行的应用实例多于输入主题分区数，多余实例会启动但保持空闲；若某个繁忙实例宕机，某个空闲实例会接管其工作。
Kafka Streams 不是资源管理器，而是一个库，可在流处理应用运行的任何地方运行。应用的多个实例可运行在同一台机器或分布在多台机器上，任务由库自动分配到运行中的应用实例。分区到任务的分配永不改变；若应用实例失败，其分配的所有任务会自动在其他实例上重启，并从相同的流分区继续消费。
消息投递语义
至少一次（At-Least-Once）：生产者重试直到收到确认，消费者在处理后提交偏移量；风险是失败时重复处理；适用于可接受重复或处理幂等的场景。
至多一次（At-Most-Once）：消费者在处理前提交偏移量，生产者不重试；风险是失败时消息丢失；适用于可接受数据丢失的场景（如指标）。
精确一次（Exactly-Once, EOS）：使用幂等生产者进行事务写入，消费者只读取已提交消息；适用于金融交易、关键数据处理。
生产者
生产者向主题发布记录，可配置可靠性与性能特征。生产者 API 包括：send(record) 发送记录并返回表示发送结果的 Future；flush() 强制发送缓冲记录；close() 关闭生产者并释放资源；metrics() 返回生产者指标。
关键配置：bootstrap.servers（集群连接串，格式 host1:9092,host2:9092,host3:9092，建议使用多个代理以实现容错）；key.serializer / value.serializer（序列化类，如 StringSerializer、ByteArraySerializer 或自定义序列化器）；acks（确认级别：0 不确认、1 仅领导者确认、all/-1 所有同步副本确认）；retries（失败重试次数，默认 2147483647，设为 0 禁用）；enable.idempotence（true 启用幂等生产者防止重复）。
性能调优：linger.ms（批处理延迟，默认 0 立即发送，较高值 5-100ms 通过批处理提高吞吐，需权衡延迟与吞吐）；batch.size（批大小字节数，默认 16384 即 16KB，更大批次提高吞吐，为每分区单批最大值）；compression.type（消息压缩，可选 none、gzip、snappy、lz4、zstd，减少网络带宽与存储，但带来压缩/解压 CPU 开销）；buffer.memory（生产者缓冲总内存，默认 33554432 即 32MB，缓冲未发送记录，缓冲满时生产者阻塞）。
生产者最佳实践：使用批处理（配置 linger.ms 与 batch.size 提升吞吐）；启用幂等（设置 enable.idempotence=true 提升可靠性）；处理错误（实现回调错误处理）；使用压缩（对大消息启用压缩）；分区键（使用有意义的键实现有序处理）；关闭生产者（始终在 finally 块中关闭）；监控指标（跟踪 record-send-rate、compression-rate 等）；资源池（尽可能复用生产者实例）。
消费者
消费者从主题读取记录，支持单个消费与基于组的消费。消费者组实现并行处理、自动负载均衡与容错。关键概念：组 ID（消费者组唯一标识）、分区分配（组内每个分区由一个消费者消费）、再均衡（消费者加入/离开时自动重新分配）、偏移量管理（组按分区跟踪已提交偏移量）。
消费者组监控命令：
# 列出消费者组
$ bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list
# 描述消费者组成员及分区分配
$ bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group my-group --members --verbose
关键配置：bootstrap.servers；group.id；key.deserializer / value.deserializer；enable.auto.commit（true 定期自动提交偏移量，false 手动管理）；auto.offset.reset（无偏移量时的行为：earliest 从头开始、latest 从末尾开始、none 抛异常）。
Kafka Streams 中消费者相关默认值：max.poll.records 默认 100；client.id 默认 <application.id>-<random-UUID>；enable.auto.commit 默认 true，控制消费者是否自动提交偏移量，为 true 时消费者会基于轮询间隔定期自动提交。
偏移量提交策略：自动提交（默认）简单但对至少一次投递有风险，可能在处理完成前提交；资料在手动同步提交处截断，未提供后续内容。
使用方式
资料提供了 Java 生产者与消费者示例代码，以及 kafka-topics.sh、kafka-consumer-groups.sh 等命令行操作示例。示例涵盖异步发送与回调、手动提交偏移量等模式。
适用场景
事件驱动微服务、实时数据流处理、发布-订阅消息、分析与 ETL 数据管道、有状态流处理、Kafka Connect 异构系统集成、CDC、实时仪表盘与监控、IoT 传感器数据处理、事件溯源与 CQRS、需保证投递的分布式系统、实时推荐、金融交易精确一次处理、日志聚合与监控管道。
限制
资料未提供具体收费、价格、平台支持范围、性能基准或效果承诺等信息。部分内容（如消费者偏移量手动同步提交）在资料中不完整。