SuperAPI AI 工具集

real-time-streaming

数据与分析

查看项目

更新于 10-16 00:03

技能介绍

用途:构建与运维实时数据管道,覆盖摄取(Kafka 生产者、Debezium CDC)、处理(Kafka Streams、Flink)到物化(sink、物化视图、事件溯源存储)三层。适用于配置 Kafka 主题与生产消费、编写 Flink 作业、实现数据库 CDC、设计流处理拓扑、排查消费延迟与再平衡、实现精确一次或至少一次投递、构建事件溯源系统,以及在 Kafka Streams、Flink、Spark Streaming 间选型。不适用于通用事件驱动架构决策或无实时组件的批处理 ETL。

主要能力与原则:把流日志视为事实来源,数据库与索引为派生视图;按并行度分区、按正确性选键;精确一次是端到端系统属性,需幂等生产者、事务写入与偏移管理配合;显式处理背压而非无界缓冲;用水位线、允许迟到与侧输出处理乱序数据。

必要用法示例:创建主题 kafka-topics.sh --create --topic orders --partitions 12 --replication-factor 3 --config retention.ms=604800000 --config cleanup.policy=delete --config min.insync.replicas=2 --bootstrap-server localhost:9092;查看消费延迟 kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group order-processor --describe;安装配套技能 npx skills add AbsolutelySkilled/AbsolutelySkilled --skill <name>。生产者需启用 enable.idempotence=true、acks=all;事务消费者需设 isolation.level=read_committed。

限制与注意:分区只能增不能减,增加会破坏既有键序;CDC 需监控复制槽避免 WAL 膨胀;Flink 检查点间隔过密会拖慢吞吐;状态需设 TTL 防止 OOM;需用 schema registry 做兼容性校验。详细模式见 references/ 下 kafka-operations.md、flink-patterns.md、cdc-debezium.md、stream-processing-patterns.md,按需加载。