Debezium系列之：支持数据库ddl和dml数据发往同一个Kafka Topic

创始人

2024-03-24 02:32:15

Debezium系列之：支持数据库ddl和dml数据发往同一个Kafka Topic

一、需求背景
二、实现方案
三、参数详解
四、具体实现
五、修改表结构和插入数据
六、消费topic

一、需求背景

业务同步数据库数据到kafka topic，下游消费kafka topic到另外的数据库，源数据库部分表结构变化比较频繁，希望数据库的ddl和dml数据能够发往同一个kafka topic，当获取到ddl数据时，就自动修改目标数据库表结构，再处理后续的dml数据

二、实现方案

需要保证顺序一致性，kafka topic可以采用单分区
基于SMT实现把存储ddl数据的topic和存储dml数据的topic中的数据都发往同一个Kafka topic

三、参数详解

详细了解SMT技术博客如下所示：

上一篇：独立站的免费流量玩法

下一篇：搞安全方向需要哪些技术基础和技能？

相关内容

热门资讯

珲春林区法院：法治副校长教你向... 为进一步加强未成年人的法律意识和法治观念，扣好开学第一粒法治扣子，近日，珲春林区基层法院法治副校长走...

今天预计全社会跨区域人员流动量... 据交通运输部，预计2026年3月13日（春运第40天，农历正月廿五），全社会跨区域人员流动量1932...

盛剑科技：形成三驾马车业务，服... 投资者提问：公司属于半导体板块，请问公司生产的半导体主要针对什么行业董秘回答(盛剑科技SH60332...

中国人寿：投资者关注分红比例，... 投资者提问：董秘您好，在中国内地上市的五家保险公司中，公司的股利支付率是最低的，不足20%。同时安当...

甲骨文应对SaaS寒冬的对策：... 甲骨文执行董事长兼首席技术官拉里・埃里森　　投资者担心人工智能可能抑制传统商业软件的支出，这种恐慌已...