Debezium系列之：支持数据库ddl和dml数据发往同一个Kafka Topic

创始人

2024-03-24 02:32:15

Debezium系列之：支持数据库ddl和dml数据发往同一个Kafka Topic

一、需求背景
二、实现方案
三、参数详解
四、具体实现
五、修改表结构和插入数据
六、消费topic

一、需求背景

业务同步数据库数据到kafka topic，下游消费kafka topic到另外的数据库，源数据库部分表结构变化比较频繁，希望数据库的ddl和dml数据能够发往同一个kafka topic，当获取到ddl数据时，就自动修改目标数据库表结构，再处理后续的dml数据

二、实现方案

需要保证顺序一致性，kafka topic可以采用单分区
基于SMT实现把存储ddl数据的topic和存储dml数据的topic中的数据都发往同一个Kafka topic

三、参数详解

详细了解SMT技术博客如下所示：

上一篇：独立站的免费流量玩法

下一篇：搞安全方向需要哪些技术基础和技能？

相关内容

热门资讯

汇添富中证沪港深云计算产业ET... 汇添富中证沪港深云计算产业交易型开放式指数证券投资基金联接基金（简称：汇添富中证沪港深云计算产业ET...

鑫元清洁能源混合发起式A净值下... 鑫元清洁能源产业混合型发起式证券投资基金（简称：鑫元清洁能源混合发起式A，代码014574）公布6月...

博时回报严选混合C净值上涨3.... 博时回报严选混合型证券投资基金（简称：博时回报严选混合C，代码014601）公布6月18日最新净值，...

财通福瑞混合发起(LOF)C净... 财通多策略福瑞混合型发起式证券投资基金(LOF)（简称：财通福瑞混合发起(LOF)C，代码01462...

世界杯｜最后20分钟狂轰四球，... （来源：上观新闻）北京时间6月19日凌晨，凭借两名替补奇兵的出色表现，瑞士队在小组赛次轮比赛中4比1...