Debezium系列之：支持数据库ddl和dml数据发往同一个Kafka Topic
创始人
2024-03-24 02:32:15
Debezium系列之：支持数据库ddl和dml数据发往同一个Kafka Topic
- 一、需求背景
- 二、实现方案
- 三、参数详解
- 四、具体实现
- 五、修改表结构和插入数据
- 六、消费topic
一、需求背景
- 业务同步数据库数据到kafka topic，下游消费kafka topic到另外的数据库，源数据库部分表结构变化比较频繁，希望数据库的ddl和dml数据能够发往同一个kafka topic，当获取到ddl数据时，就自动修改目标数据库表结构，再处理后续的dml数据
二、实现方案
- 需要保证顺序一致性，kafka topic可以采用单分区
- 基于SMT实现把存储ddl数据的topic和存储dml数据的topic中的数据都发往同一个Kafka topic
三、参数详解
详细了解SMT技术博客如下所示：
上一篇：独立站的免费流量玩法
相关内容
热门资讯
2026年度山东省省级机关公开...
一、笔试合格分数线 2026年度山东省省级机关公开遴选公务员笔试合格分数线为：...
伊朗最高领袖穆杰塔巴：将为哈梅...
（来源：深圳商报）当地时间7月11日，伊朗最高领袖穆杰塔巴发表声明表示，将为已故最高领袖哈梅内伊和最...
突传重磅！美国，拟放宽芯片出口...
AI芯片巨头，迎来重磅利好！据多家外媒报道，美国拟放宽对阿联酋的出口限制，阿联酋可以自由进口英伟达、...
长江海事局提升防台应急响应至二...
今年第9号台风“巴威”预计于7月11日至13日对长江中下游的湖北东部、江西、安徽等地造成影响。据长江...
龙头20CM涨停 本周披露并购...
财联社7月11日讯（编辑 平方）A股市场并购重组持续活跃。截至周五收盘，拟发行股份及支付现金购买海兰...