Debezium系列之:支持数据库ddl和dml数据发往同一个Kafka Topic
创始人
2024-03-24 02:32:15
0

Debezium系列之:支持数据库ddl和dml数据发往同一个Kafka Topic

  • 一、需求背景
  • 二、实现方案
  • 三、参数详解
  • 四、具体实现
  • 五、修改表结构和插入数据
  • 六、消费topic

一、需求背景

  • 业务同步数据库数据到kafka topic,下游消费kafka topic到另外的数据库,源数据库部分表结构变化比较频繁,希望数据库的ddl和dml数据能够发往同一个kafka topic,当获取到ddl数据时,就自动修改目标数据库表结构,再处理后续的dml数据

二、实现方案

  • 需要保证顺序一致性,kafka topic可以采用单分区
  • 基于SMT实现把存储ddl数据的topic和存储dml数据的topic中的数据都发往同一个Kafka topic

三、参数详解

详细了解SMT技术博客如下所示:

相关内容

热门资讯

“后高考”消费需理性 转自:衢州日报  肖剑  这段时间,衢城街头巷尾处处可见准大学生们的身影——他们或三五成群选购电子产...
创业王2 创业王2 创业王2加... 《创业王》()这款游戏让你有机会一尝创业的宿愿。玩家将可以自选建筑、服饰、电子、文教、汽车、食品等1...
适合小本创业项目 适合小本创业... 小本创业者最好选择无店铺经营项目,从小事开始干起,才能成就大事业,无店铺经营项目可以为创业前期节约大...
万古惟留楚客悲前一句是什么 万古惟留楚客悲前一句是什么万古惟留楚客悲的上一句:三年谪宦此栖迟长沙过贾谊宅[ 唐 ] 刘长卿原文三...
佛教六字真言的第一个字的读音,... 佛教六字真言的第一个字的读音,有说读“ong”,有的说读“俺”,请真正的读音,要可靠的证据,谢谢谢谢...
关与高尔基的《童年》的一些问题 关与高尔基的《童年》的一些问题小阿辽莎?你不会是自己翻译的吧?怎么翻成了女的名字啊
高一新生收到惊喜礼物 转自:衢州日报  本报讯 (通讯员 张瑜) 7月7日上午,以盛夏最炽热的阳光为礼,以校园百年古樟的年...
弱弱咁问下:关于结婚登记与婚检... 弱弱咁问下:关于结婚登记与婚检的?我听人讲,有个人,罗左证再检查,发现个女有地中海贫血,就即克离婚咯...
襄阳强化综治中心作用着力化解矛... 转自:法治日报□ 本报记者 刘欢  “诉前调解,为企排忧。”  78岁的褚高年指着办公室里的锦旗,笑...
年内港股私有化退市频现 并购与... 私有化已成为港股退市的重要路径之一。Wind资讯数据显示,按摘牌日期计,截至7月5日,年内港股退市公...