Debezium系列之：支持数据库ddl和dml数据发往同一个Kafka Topic

创始人

2024-03-24 02:32:15

Debezium系列之：支持数据库ddl和dml数据发往同一个Kafka Topic

一、需求背景
二、实现方案
三、参数详解
四、具体实现
五、修改表结构和插入数据
六、消费topic

一、需求背景

业务同步数据库数据到kafka topic，下游消费kafka topic到另外的数据库，源数据库部分表结构变化比较频繁，希望数据库的ddl和dml数据能够发往同一个kafka topic，当获取到ddl数据时，就自动修改目标数据库表结构，再处理后续的dml数据

二、实现方案

需要保证顺序一致性，kafka topic可以采用单分区
基于SMT实现把存储ddl数据的topic和存储dml数据的topic中的数据都发往同一个Kafka topic

三、参数详解

详细了解SMT技术博客如下所示：

上一篇：独立站的免费流量玩法

下一篇：搞安全方向需要哪些技术基础和技能？

相关内容

热门资讯

宁波精达(603088.SH)... 格隆汇12月18日丨宁波精达(603088.SH)公布，公司于2025年12月18日收到股东郑功出具...

传壁仞科技拟圣诞节前启动港股I... 观点网讯：12月18日，国产GPU企业壁仞科技计划于圣诞节前启动港股IPO程序，拟集资5亿至6亿美元...

黑牡丹(600510.SH)子... 黑牡丹(600510.SH)发布公告，近日，公司全资子公司常州黑牡丹置业有限公司以总价 6.77亿元...

豆包大模型联合润欣科技、老凤祥... 　　炒股就看金麒麟分析师研报，权威，专业，及时，全面，助您挖掘潜力主题机会！（来源：IT之家）I...

万物云回购24万股总金额46... 万物云（02602）发布公告，2025年12月18日，公司回购股份24万股，回购金额为461万港元。...