kafka的正常在均衡会不会导致消息丢失或者重复消费?
正常的在均衡比如:增加消费者或者增加分区,没有宕机的事故,会不会导致消息丢失或者重复消费呢?
我记得在均衡时会强制消费者提交偏移量,应该不会出现上述问题把?
回答:
你说的“宕机”是指的什么?消费超时算宕机吗?因消费超时导致消费者被踢出、从而引发 Rebalance,这就是可能会重复消费的啊。而丢消息这种事跟 Rebalance 也没啥关系吧,是 kafka 本身的落盘机制决定的。
如果你说的宕机是指所有异常情况都算宕机,那确实如你所言只要不宕机就不会出现问题。但生产里哪能假设不出异常呢?
回答:
Kafka常见的导致重复消费原因和解决方案:https://cloud.tencent.com/developer/article/1665700:
Kafka什么情况下会丢失消息?如何做到消息不丢失?:https://blog.csdn.net/weixin_43958358/article/details/1149357...
如何搞定Kafka重复消费?:https://zhuanlan.zhihu.com/p/141720058
聊聊 Kafka:Kafka 消息重复的场景以及最佳实践:https://juejin.cn/post/7096872853122842638
以上是 kafka的正常在均衡会不会导致消息丢失或者重复消费? 的全部内容, 来源链接: utcz.com/p/945147.html