SuperAPI AI 工具集

real-time-streaming

数据与分析

查看项目

更新于 10-26 16:17

技能介绍

用途

Real-Time Streaming 是一个实践者指南型技能,用于构建和运维实时数据管道。当用户涉及 Kafka 主题配置、Flink 作业编写、CDC 实现、流处理拓扑设计、消费者延迟调试、投递保证、事件溯源或流处理框架选型等任务时触发。不适用于通用事件驱动架构决策(应使用 event-driven-architecture 技能)或无实时组件的批处理 ETL 管道。

主要能力

该技能覆盖流处理三层架构:传输层(Kafka、Pulsar、Kinesis)提供持久、有序、分区的日志;处理层(Flink、Kafka Streams、Spark Structured Streaming)读取并转换数据;物化层(数据库、搜索索引、缓存)向应用提供处理结果。

核心原则包括:将流视为事实来源,数据库和缓存是派生视图;分区决定最大并行度,键选择决定顺序保证;精确一次是系统属性而非单一组件属性,需要幂等生产者、事务写入和消费者偏移管理协同工作;背压是特性而非缺陷,应显式处理而非无界缓冲;迟到数据不可避免,需用水位线、允许延迟窗口和侧输出处理。

具体任务覆盖:创建配置合理的 Kafka 主题(分区数建议为预期最大消费者数的 2 倍,生产环境副本因子至少为 3);编写幂等 Kafka 生产者(启用 enable.idempotence=true,配合 acks=all 和无限重试);编写 Flink 窗口聚合(事件时间窗口、水位线、允许延迟、侧输出);配置 Debezium CDC 连接器(Postgres 的 pgoutput 插件、显式 slot 名称、快照模式);使用 Kafka 事务实现精确一次(sendOffsetsToTransaction、commitTransaction,消费者需设置 isolation.level=read_committed);在 Kafka Streams 中构建流表连接(KTable 由本地 RocksDB 状态存储支撑,源主题需 compact 清理策略);处理消费者延迟与重平衡(调整 max.poll.records、max.poll.interval.ms、session.timeout.ms,使用 CooperativeStickyAssignor)。

使用方式

技能激活后,首次响应以 🧢 emoji 开头。根据任务需要加载 references 文件夹中的详细文档:kafka-operations.md(主题管理、broker 调优、监控、安全)、flink-patterns.md(检查点、保存点、状态后端、复杂事件处理)、cdc-debezium.md(连接器配置、模式演进、快照策略、MySQL/Postgres 细节)、stream-processing-patterns.md(窗口策略、连接类型、去重、水位线调优)。仅在当前任务需要时加载,避免消耗上下文。

首次激活时检查已安装的配套技能,运行 ls ~/.claude/skills/ ~/.agent/skills/ ~/.agents/skills/ .claude/skills/ .agent/skills/ .agents/skills/ 2>/dev/null,对比推荐列表,缺失时提示安装:npx skills add AbsolutelySkilled/AbsolutelySkilled --skill <name>。

适用场景

适用于需要构建生产级实时数据管道的工程师,包括 Kafka 运维、Flink 作业开发、CDC 系统搭建、流表连接、精确一次语义实现、消费者性能调优等。

限制

不适用于通用事件驱动架构决策和无实时组件的批处理 ETL。技能文档中列出的常见反模式包括:单分区保证顺序(破坏并行性)、无界状态(内存溢出)、忽略消费者重平衡(重复处理和延迟尖峰)、CDC 不监控复制槽(WAL 膨胀和磁盘耗尽)、紧循环轮询 Kafka(浪费 CPU)、跳过模式演进(消费者反序列化失败)、无幂等处理(重复副作用)。注意事项包括:Postgres 复制槽孤儿化、慢处理触发重平衡、增加分区数破坏键顺序、Flink 检查点间隔过激、事务消费者未设置 read_committed 导致幻读。