Debezium系列之:支持数据库ddl和dml数据发往同一个Kafka Topic
创始人
2024-03-24 02:32:15
0次
Debezium系列之:支持数据库ddl和dml数据发往同一个Kafka Topic
- 一、需求背景
- 二、实现方案
- 三、参数详解
- 四、具体实现
- 五、修改表结构和插入数据
- 六、消费topic
一、需求背景
- 业务同步数据库数据到kafka topic,下游消费kafka topic到另外的数据库,源数据库部分表结构变化比较频繁,希望数据库的ddl和dml数据能够发往同一个kafka topic,当获取到ddl数据时,就自动修改目标数据库表结构,再处理后续的dml数据
二、实现方案
- 需要保证顺序一致性,kafka topic可以采用单分区
- 基于SMT实现把存储ddl数据的topic和存储dml数据的topic中的数据都发往同一个Kafka topic
三、参数详解
详细了解SMT技术博客如下所示:
相关内容
“后高考”消费需理性
转自:衢州日报 肖剑 这段时间,衢城街头巷尾处处可见准大学生们的身影——他们或三五成群选购电子产...
万古惟留楚客悲前一句是什么
万古惟留楚客悲前一句是什么万古惟留楚客悲的上一句:三年谪宦此栖迟长沙过贾谊宅[ 唐 ] 刘长卿原文三...
高一新生收到惊喜礼物
转自:衢州日报 本报讯 (通讯员 张瑜) 7月7日上午,以盛夏最炽热的阳光为礼,以校园百年古樟的年...