Debezium系列之：支持数据库ddl和dml数据发往同一个Kafka Topic
创始人
2024-03-24 02:32:15
0次

Debezium系列之：支持数据库ddl和dml数据发往同一个Kafka Topic

  • 一、需求背景
  • 二、实现方案
  • 三、参数详解
  • 四、具体实现
  • 五、修改表结构和插入数据
  • 六、消费topic

一、需求背景

  • 业务同步数据库数据到kafka topic，下游消费kafka topic到另外的数据库，源数据库部分表结构变化比较频繁，希望数据库的ddl和dml数据能够发往同一个kafka topic，当获取到ddl数据时，就自动修改目标数据库表结构，再处理后续的dml数据

二、实现方案

  • 需要保证顺序一致性，kafka topic可以采用单分区
  • 基于SMT实现把存储ddl数据的topic和存储dml数据的topic中的数据都发往同一个Kafka topic

三、参数详解

详细了解SMT技术博客如下所示：

词库加载错误:未能找到文件“E:\highferrum_mysql\Configuration\Dict_Stopwords.txt”。

上一篇：独立站的免费流量玩法

下一篇：搞安全方向需要哪些技术基础和技能？

相关内容

热门资讯

中证A500ETF摩根（560... 8月22日，截止午间收盘，中证A500ETF摩根（560530）涨1.19%，报1.106元，成交额...
A500ETF易方达（1593... 8月22日，截止午间收盘，A500ETF易方达（159361）涨1.28%，报1.104元，成交额1...
何小鹏斥资约2.5亿港元增持小... 每经记者｜孙磊    每经编辑｜裴健如 8月21日晚间，小鹏汽车发布公告称，公司联...
中证500ETF基金（1593... 8月22日，截止午间收盘，中证500ETF基金（159337）涨0.94%，报1.509元，成交额2...
中证A500ETF华安（159... 8月22日，截止午间收盘，中证A500ETF华安（159359）涨1.15%，报1.139元，成交额...
科创AIETF（588790）... 8月22日，截止午间收盘，科创AIETF（588790）涨4.83%，报0.760元，成交额6.98...
创业板50ETF嘉实（1593... 8月22日，截止午间收盘，创业板50ETF嘉实（159373）涨2.61%，报1.296元，成交额1...
港股异动丨航空股大幅走低 中国... 港股航空股大幅下跌，其中，中国国航跌近7%表现最弱，中国东方航空跌近5%，中国南方航空跌超3%，美兰...
电网设备ETF（159326）... 8月22日，截止午间收盘，电网设备ETF（159326）跌0.25%，报1.198元，成交额409....
红利ETF国企（530880）... 8月22日，截止午间收盘，红利ETF国企（530880）跌0.67%，报1.034元，成交额29.0...