Debezium系列之：支持数据库ddl和dml数据发往同一个Kafka Topic

创始人

2024-03-24 02:32:15

Debezium系列之：支持数据库ddl和dml数据发往同一个Kafka Topic

一、需求背景
二、实现方案
三、参数详解
四、具体实现
五、修改表结构和插入数据
六、消费topic

一、需求背景

业务同步数据库数据到kafka topic，下游消费kafka topic到另外的数据库，源数据库部分表结构变化比较频繁，希望数据库的ddl和dml数据能够发往同一个kafka topic，当获取到ddl数据时，就自动修改目标数据库表结构，再处理后续的dml数据

二、实现方案

需要保证顺序一致性，kafka topic可以采用单分区
基于SMT实现把存储ddl数据的topic和存储dml数据的topic中的数据都发往同一个Kafka topic

三、参数详解

详细了解SMT技术博客如下所示：

上一篇：独立站的免费流量玩法

下一篇：搞安全方向需要哪些技术基础和技能？

相关内容

热门资讯

中衡设计(603017.SH)... 格隆汇4月22日丨中衡设计(603017.SH)发布2025年年报显示，公司全年实现营业收入11.7...

海港人寿总经理变更：齐美祝任临... 　　炒股就看金麒麟分析师研报，权威，专业，及时，全面，助您挖掘潜力主题机会！　　每经记者|涂颖浩...

出息了！德国市长试乘贵州造无人... 　　2026年4月21日，德国东部城市开姆尼茨。市政厅门前，一辆圆润的胶囊状小巴缓缓驶出。车内坐着三...

谷歌推出AI训练与推理专用芯片... 　　核心要点谷歌将推出一款专门运行人工智能模型的芯片，同时推出另一款独立处理器用于模型训练。亚马逊也...

龙腾光电修订公司章程及多项治理... 4月23日，龙腾光电（证券代码：688055）发布公告称，公司于2026年4月22日召开第三届董事会...