深入了解Kafka【三】数据可靠性分析
1、多副本数据同步策略
为了保障Prosucer发送的消息能可靠的发送到指定的Topic,Topic的每个Partition收到消息后,要向Producer发送ACK,如果Produser收到ACK,就会进行下一轮发送,否则重试。
1.1、多副本概述
为了提高消息的可靠性,Kafka每个Topic的partition都有N个副本(replica)。这N个副本中,其中一个replica是Leader,其他都是Follower。
Leader负责处理Partition的所有请求,Follower负责同步Leader的数据。
下图展示了Kafka集群中的4个Broker,Topic有3个Partition。
1.2、同步副本队列ISR
Partition什么时候才会发送ACK呢?
要确保全部的Follower与Leader同步完成之后,Leader才能发送ACK,这样才能保证Leader挂掉之后,在所有Follower中能选出新的Leader。
但是万一有一个Follower因为故障,迟迟不能和Leader同步,Leader就得等着它完成同步之后才能发送ACK,怎么决解呢?
这就引出了ISR(in-sync replica set)。
ISR在Leader中维护,也叫同步副本队列,就是leader 与leader保持同步的followers的集合。
当ISR中的Follower完成数据的同步之后,Leader就会给Producer发送ACK,如果Follower未在规定的时间同步数据,则将其踢出ISR。当Leader挂掉的时候,在ISR中选举出一个新的Leader。
1.3、Follower与Leader之间数据复制原理
在学习复制原理之前,先看两个概念:HW(HighWatermark)和LEO(LogEndOffset):
- LEO指的是每个副本最后一个offset。
- HW指的是所有副本中最小的LEO,Consumer能看到的partition的最后位置,即HW之前的数据才对Consumer可见。
如图:
Leader与Follower中,都会维护各自的HW,对于新消息的写入,Consumer并不能立即被消费,需要等待ISR中的Followers从Leader中复制完成。
下图说明了新消息写入Partition后的数据复制过程:
由图可知,Kafka的复制既不是同步也不是异步,其在可靠性和吞吐量上有很好的平衡。
3、ACK应答机制与Exaclty Once语义
当Producer向Leader发送数据的时候,可以通过Kafka提供的三种ACK应答机制,对数据的可靠性与延迟的要求做平衡。
通过配置request.required.acks实现。
3.1、0
Producer不等待Broker的ACK,这能保证最低的延迟,但是当Broker故障时,数据可能丢失,即可靠性最低。
体现了At Most Once语义,最多一次,数据只会发送一次,不保证数据会丢失。
3.2、1
Producer等待Broker中partition的Leader落盘成功后返回ACK。如果在Follower同步结束之前Leader故障,数据会丢失。
3.3、-1
Producer等待Partition的Leader和Follower全部落盘成功后返回ACK。如果在数据同步完成后,发送ACK之前Leader故障,Producer会重新发送消息,造成数据重复。
这体现了At Least Once语义,至少一次,可以保证数据不会丢失,但是不保证数据重复。
3.4、Exactly Once恰好一次
At Least Once 幂等性 = Exactly Once。
Kafka中幂等性是通过Broker初始化时分配的PID来保证。发往同一Partition的消息会附带Sequence Number(SN),而Broker会对(PID,Partition,SN)做缓存,当相同主键的消息提交时,Broker只会持久化一条。
但是PID重启后就会变化,不同的Partition也具有不同的主键,所以幂等性无法保证跨分区会话的Exactly Once。
4、副本故障处理
4.1、Follower故障
Follower故障后会被临时踢出ISR,当Follower恢复后,Follower会读取本地磁盘记录的上次的HW,并将log文件高于HW的部分截取掉,从HW开始向Leader同步。等该Follower的LEO大于等于该partition的HW,即Follower追上Leader之后,就会被重新加入ISR。
4.2、Leader故障
Leader发生故障,会从ISR中选举出一个新的Leader,其余的Follower会先将各自的log文件高于各自HW的部分截取掉,之后从新的Leader同步数据。
5、Leader选举
kafka会在Zookeeper中为每个partition动态的维护着ISR,当Leader挂掉后,会从ISR中顺序选择一个Follower作为主。
如果碰巧ISR中Follower全部挂掉,那么有两种选择:
- 等待ISR中任意Follower恢复,选定其为Leader。
- 选择第一个恢复的Follower作为Leader,这个Follower不一定在ISR中。
怎么选择就要在可用性与一致性之间做权衡了。
以上是 深入了解Kafka【三】数据可靠性分析 的全部内容, 来源链接: utcz.com/z/511627.html