Debezium系列之：支持数据库ddl和dml数据发往同一个Kafka Topic
创始人
2024-03-24 02:32:15
Debezium系列之：支持数据库ddl和dml数据发往同一个Kafka Topic
- 一、需求背景
- 二、实现方案
- 三、参数详解
- 四、具体实现
- 五、修改表结构和插入数据
- 六、消费topic
一、需求背景
- 业务同步数据库数据到kafka topic，下游消费kafka topic到另外的数据库，源数据库部分表结构变化比较频繁，希望数据库的ddl和dml数据能够发往同一个kafka topic，当获取到ddl数据时，就自动修改目标数据库表结构，再处理后续的dml数据
二、实现方案
- 需要保证顺序一致性，kafka topic可以采用单分区
- 基于SMT实现把存储ddl数据的topic和存储dml数据的topic中的数据都发往同一个Kafka topic
三、参数详解
详细了解SMT技术博客如下所示：
上一篇：独立站的免费流量玩法
相关内容
热门资讯
德尔股份跌2.00%，成交额7...
1月28日，德尔股份盘中下跌2.00%，截至10:13，报34.29元/股，成交7676.55万元，...
黑猫股份涨2.07%，成交额5...
1月28日，黑猫股份盘中上涨2.07%，截至10:14，报9.39元/股，成交5847.32万元，换...
云铝股份股价涨5.75%，中邮...
1月28日，云铝股份涨5.75%，截至发稿，报34.93元/股，成交13.69亿元，换手率1.17%...
拱东医疗跌2.05%，成交额1...
1月28日，拱东医疗盘中下跌2.05%，截至10:14，报19.14元/股，成交1117.46万元，...
云铝股份股价涨5.75%，民生...
1月28日，云铝股份涨5.75%，截至发稿，报34.93元/股，成交13.75亿元，换手率1.17%...