SuperAPI AI 工具集

confluent-kafka-connect

通用与其它

查看项目

更新于 10-15 19:56

技能介绍

用途:帮助构建与维护 Kafka Connect 数据管道,覆盖源连接器(外部系统→Kafka)与汇连接器(Kafka→外部系统),以及单消息转换(SMT)。

主要能力:源连接器包括 JDBC Source、Debezium CDC(MySQL/PostgreSQL/MongoDB)、S3 Source、File Source;汇连接器包括 JDBC Sink、Elasticsearch Sink、S3 Sink、HDFS Sink。SMT 涵盖字段操作(Insert、Mask、Replace、TimestampConverter)、路由(RegexRouter、TimestampRouter)与过滤(Filter、Predicates)。

使用方式:通过 REST API 部署与管理连接器,例如 curl -X POST http://localhost:8083/connectors -H "Content-Type: application/json" -d @jdbc-source.json;查看状态 curl http://localhost:8083/connectors/jdbc-source-users/status;暂停/恢复/重启使用 /pause、/resume、/restart 端点。配置以 JSON 描述,包含 connector.class、tasks.max、连接信息、topic 与转换等字段。

适用场景:数据库变更捕获、数据库与 Kafka 双向同步、日志索引到 Elasticsearch、主题归档到 S3、敏感字段脱敏、嵌套 JSON 扁平化等。

限制与注意:资料未提供具体版本兼容性、性能基准与收费信息。建议使用幂等写入(如 JDBC Sink 的 upsert 模式)、配置 Schema Registry、设置错误处理与死信队列,并通过日志与状态接口排查任务失败、schema 演进与连接池耗尽等问题。