SuperAPI AI 工具集

n8n-kafka-workflows

办公与效率

查看项目

更新于 10-15 19:57

技能介绍

用途:该技能提供将 Apache Kafka 与 n8n 工作流自动化平台集成的专家知识,用于无代码/低代码的事件驱动处理。

主要能力:涵盖 Kafka 触发节点(事件消费,支持消费者组、自动或手动提交偏移、多主题订阅、消息批处理)与 Kafka 生产者节点(发布消息、基于 key 的分区、Header、gzip/snappy/lz4 压缩、批量发送)。同时给出常见工作流模式:事件驱动处理(Kafka 触发→HTTP 请求→转换→数据库)、扇出发布到多主题、带死信队列的重试、批量聚合、CDC 到 Kafka。

使用方式:在 n8n 中配置 Kafka 凭据(brokers、clientId、ssl、sasl 机制与用户名密码),触发节点设置主题、消费者组与偏移,生产者节点设置主题、分区 key、消息与压缩。测试可用 kcat 消费或生产消息,例如 kcat -C -b localhost:9092 -t test-output -o beginning,以及 echo '{"test": "data"}' | kcat -P -b localhost:9092 -t test-input;也可用 n8n CLI 执行或导出工作流。

适用场景:需要事件驱动自动化、Kafka 消息消费与发布、并行处理、错误重试与 DLQ、数据库同步、告警通知等集成场景。

限制与注意:资料强调使用消费者组避免重复消费、用 Try/Catch 处理错误、用环境变量管理凭据、显式设置分区 key、监控消费者延迟;并给出指数退避、熔断、幂等去重等策略。具体版本兼容性、部署要求与收费信息暂未提供。