Kafka 消息不丢失

• 生产者丢失
• 消费者丢失
• 不丢失配置

Kafka 保证消息不丢失：只对已提交的消息 (committed message) 做有限度的持久化保证

• 已提交的消息：当 n 个 Broker 成功接收到该消息并写入到日志文件后，就告诉生产者该消息已成功提交
• 有限度的持久化保证 : 消息保存在 N 个 Broker 上，要至少有 1 个存活
• Kafka 只对已提交的消息，并满足一定的条件，能实现不丢失消息

生产者丢失

Kafka Producer 是异步发送消息的 ，调用 producer.send(msg)，会立即返回，就无法知道消息是否发送成功

消息发送不成功的原因：

• 网络抖动 : 导致消息就没有发到 Broker 端
• 消息本身不合格，导致 Broker 拒绝接收 (如 : 消息太大)
• 所有的 Broker 都挂了

解决方法：Producer 用 producer.send(msg, callback)有回调通知的发送 API

消费者丢失

Consumer 端的位移：

• 位移：该 Consumer 消费当前 Topic 分区的位置

Consumer 的对位移的消息丢失解决：

• 先消费消息，再更新位移的顺序
• 能最大限度地保证消息不丢失，但可能消息的重复处理

Consumer 用多个线程异步处理消息，并自动更新位移

• 当某个线程运行失败，某个消息没有被成功处理，但位移已经更新，该消息对 Consumer 就是丢失状态
• 解决方案：Consumer 手动提交位移

不丢失配置

• 当 ISR 只有 1 个副本 ，acks=all ，相当于 acks=1
• min.insync.replicas 目的 ：下限的限制
• 不能只满足 ISR 全部写入，还要保证 ISR 中的写入个数大于 min.insync.replicas
• 对可重试的错误，retries 才会触发，否则直接进入到 callback