用途:面向数据工程的实时数据摄取与流处理技能,覆盖 Apache Kafka、MQTT(物联网)与 NATS JetStream 的生产者、消费者及流处理模式。
主要能力:三者选型对比,Kafka 适合高吞吐事件流、日志聚合、CDC 与数据湖摄取;MQTT 适合 IoT 设备、移动推送与受限网络;NATS JetStream 适合云原生微服务、请求-应答且运维较 Kafka 简单。提供各系统的 Python 客户端安装命令:pip install confluent-kafka、pip install paho-mqtt、pip install nats-py。内容还包括 Kafka 生产者/消费者(手动提交、回调)、Avro 与 Schema Registry、ksqlDB 窗口聚合;MQTT 发布/订阅(QoS 1);NATS JetStream 流创建、发布、推送消费者与工作队列模式。
生产模式:幂等处理(用检查点去重)、批量写入后提交、死信队列错误处理、Avro/Protobuf 模式演进(增量添加字段)。
依赖技能:@data-engineering-core(用 Polars/DuckDB 处理流数据)、@data-engineering-orchestration(编排流处理作业)、@data-engineering-quality(校验流数据)、@data-engineering-storage-lakehouse(将流持久化到 Delta/Iceberg)。
限制:资料未提供具体许可、收费与价格信息,暂未提供;示例端口与代理地址仅为演示,实际部署需按环境调整。