Debezium系列之：支持数据库ddl和dml数据发往同一个Kafka Topic

创始人

2024-03-24 02:32:15

Debezium系列之：支持数据库ddl和dml数据发往同一个Kafka Topic

一、需求背景
二、实现方案
三、参数详解
四、具体实现
五、修改表结构和插入数据
六、消费topic

一、需求背景

业务同步数据库数据到kafka topic，下游消费kafka topic到另外的数据库，源数据库部分表结构变化比较频繁，希望数据库的ddl和dml数据能够发往同一个kafka topic，当获取到ddl数据时，就自动修改目标数据库表结构，再处理后续的dml数据

二、实现方案

需要保证顺序一致性，kafka topic可以采用单分区
基于SMT实现把存储ddl数据的topic和存储dml数据的topic中的数据都发往同一个Kafka topic

三、参数详解

详细了解SMT技术博客如下所示：

上一篇：独立站的免费流量玩法

下一篇：搞安全方向需要哪些技术基础和技能？

相关内容

热门资讯

线上销量腰斩！苹果iPad猛猛... 过去提到平板电脑，很多人脑海里只有两个选项，要么iPad，要么“其他”。但自苹果今年6月底宣布对多款...

西藏吉隆3人遇难、265人失联... 转自：长安街知事8月26日10时30分许，因尼泊尔一侧发生泥石流灾害，造成西藏自治区日喀则市吉隆县吉...

重要通胀数据发布，美联储9月加... 　　8月26日晚间，美股三大指数集体下挫。　　整体看，盘面并未出现热点板块，投资者在等待英伟达盘后发...

盛路通信：上半年净利润3644... 人民财讯8月26日电，盛路通信(002446)8月26日披露半年报，2026年上半年，公司实现营业收...

西藏启动自治区自然灾害一级救助... 00:18西藏自治区防灾减灾救灾委员会8月26日晚发布通知，26日10时30分许，因尼泊尔一侧发生泥...