Debezium系列之：支持数据库ddl和dml数据发往同一个Kafka Topic
创始人
2024-03-24 02:32:15

Debezium系列之：支持数据库ddl和dml数据发往同一个Kafka Topic

  • 一、需求背景
  • 二、实现方案
  • 三、参数详解
  • 四、具体实现
  • 五、修改表结构和插入数据
  • 六、消费topic

一、需求背景

  • 业务同步数据库数据到kafka topic，下游消费kafka topic到另外的数据库，源数据库部分表结构变化比较频繁，希望数据库的ddl和dml数据能够发往同一个kafka topic，当获取到ddl数据时，就自动修改目标数据库表结构，再处理后续的dml数据

二、实现方案

  • 需要保证顺序一致性，kafka topic可以采用单分区
  • 基于SMT实现把存储ddl数据的topic和存储dml数据的topic中的数据都发往同一个Kafka topic

三、参数详解

详细了解SMT技术博客如下所示：

上一篇：独立站的免费流量玩法

下一篇：搞安全方向需要哪些技术基础和技能？

相关内容

热门资讯

电科蓝天股价涨5.02%，鑫元... 8月4日，电科蓝天涨5.02%，截至发稿，报47.26元/股，成交2.69亿元，换手率4.42%，总...
电科蓝天股价涨5.02%，长盛... 8月4日，电科蓝天涨5.02%，截至发稿，报47.26元/股，成交2.71亿元，换手率4.45%，总...
电科蓝天股价涨5.02%，东方... 8月4日，电科蓝天涨5.02%，截至发稿，报47.26元/股，成交2.73亿元，换手率4.48%，总...
西子洁能股价涨5.03%，永赢... 8月4日，西子洁能涨5.03%，截至发稿，报14.82元/股，成交2.17亿元，换手率1.83%，总...
复洁科技股价涨5.07%，华夏... 8月4日，复洁科技涨5.07%，截至发稿，报19.88元/股，成交2393.47万元，换手率0.83...