Debezium系列之:支持数据库ddl和dml数据发往同一个Kafka Topic
创始人
2024-03-24 02:32:15
0

Debezium系列之:支持数据库ddl和dml数据发往同一个Kafka Topic

  • 一、需求背景
  • 二、实现方案
  • 三、参数详解
  • 四、具体实现
  • 五、修改表结构和插入数据
  • 六、消费topic

一、需求背景

  • 业务同步数据库数据到kafka topic,下游消费kafka topic到另外的数据库,源数据库部分表结构变化比较频繁,希望数据库的ddl和dml数据能够发往同一个kafka topic,当获取到ddl数据时,就自动修改目标数据库表结构,再处理后续的dml数据

二、实现方案

  • 需要保证顺序一致性,kafka topic可以采用单分区
  • 基于SMT实现把存储ddl数据的topic和存储dml数据的topic中的数据都发往同一个Kafka topic

三、参数详解

详细了解SMT技术博客如下所示:

相关内容

热门资讯

小本创业项目买卖项目 蒸汽洗车... 未来蒸汽洗车的趋势蒸汽洗车多少钱一台机器移动蒸汽洗车怎样经营蒸汽洗车项目蒸汽洗车服务蒸汽洗车项目收费...
《创业时代》郭鑫年原型人物曝光... 创业时代是谁演的她们创业的那些事儿演员表创业时代周一围演的什么角色创业时代演员表介绍创业时代电视剧主...
蒸汽洗车小本创业好项目 蒸汽洗... 未来蒸汽洗车的趋势蒸汽洗车多少钱一台机器移动蒸汽洗车怎样经营蒸汽洗车项目蒸汽洗车服务蒸汽洗车项目收费...
50岁左右的人 现在可以做些什... 在农村创什么业能稳致富农村投资少的创业项目义乌找长期合作加工厂乡镇最适合的创业项目个人创业项目大全年...
现在农村创业适合做什么? 年轻... 在农村创什么业能稳致富农村投资少的创业项目义乌找长期合作加工厂乡镇最适合的创业项目个人创业项目大全年...
江西芦溪:绘就农耕文化新光景 转自:光明网【文化中国行】  光明日报记者 王洋 李玉兰 胡晓军  暑假伊始,江西省萍乡市芦溪县美术...
创业真的白手起家行吗? 如何创... 初中学历如何创业白手起家如何创业白手起家开公司女生如何创业白手起家0元白手起家创业点子白手起家创业赚...
全民创业工作总结 全民创业工作... 社区全民阅读工作总结创业园个人工作总结全民阅读工作总结工作计划工作总结电视台全民阅读工作总结全民体检...
七月〔中国画〕 七 月〔中国画〕吴重霞 作
横渡镇2020年度乡村振兴工全... 社区全民阅读工作总结创业园个人工作总结全民阅读工作总结工作计划工作总结电视台全民阅读工作总结全民体检...