Redispipeline（12）

  • Z时代
  • 2024-01-10
  • 分类：综合

编程

常规的连接客户端一般有3种请求方式：

  1. Client

  2. Pipeline

  3. 事务

三中模式的区别

Client模式：就是客户端发送一个命令，阻塞等待服务端执行，然后读取返回结果。

Pipeline模式：是一次性发送多个命令，最后一次取回所有的返回结果，这种模式通过减少网络的往返时间和io读写次数，大幅度提高通信性能。

事务模式：Transaction模式即开启Redis的事务管理，事务模式开启后，所有的命令（除了exec，discard，multi和watch）到达服务端以后不会立即执行，会进入一个等待队列。

什么时候Pipeline？

Redis客户端与Redis服务器之间使用TCP协议进行连接，一个客户端可以通过一个socket连接发起多个请求命令。每个请求命令发出后client通常会阻塞并等待redis服务器处理，redis处理完请求命令后会将结果通过响应报文返回给client，因此当执行多条命令的时候都需要等待上一条命令执行完毕才能执行。执行过程如图：

由于通信会有网络延迟，假如client和server之间的包传输时间需要10毫秒，一次交互就是20毫秒（RTT：RoundTripTime）。这样的话，client1秒钟也只能也只能发送50个命令。这显然没有充分利用Redis的处理能力。另外一个，Redis服务端执行I/O的次数过多。

Pipeline管道

那我们能不能像数据库的batch操作一样，把一组命令组装在一起发送给Redis服务端执行，然后一次性获得返回结果呢？这个就是Pipeline的作用。Pipeline通过一个队列把所有的命令缓存起来，然后把多个命令在一次连接中发送给服务器。

要实现Pipeline，既要服务端的支持，也要客户端的支持。对于服务端来说，需要能够处理客户端通过一个TCP连接发来的多个命令，并且逐个地执行命令一起返回。对于客户端来说，要把多个命令缓存起来，达到一定的条件就发送出去，最后才处理Redis的应答（这里也要注意对客户端内存的消耗）。

在Jedis客户端中jedis-pipeline的client-buffer限制：8192bytes，客户端堆积的命令超过8192bytes时，会发送给服务端。

源码：redis.clients.util.RedisOutputStream.java

public RedisOutputStream(final OutputStream out){
  this(out,8192);
}

pipeline对于命令条数没有限制，但是命令可能会受限于TCP包大小。

如果Jedis发送了一组命令，而发送请求还没有结束，Redis响应的结果会放在接收缓冲区。如果接收缓冲区满了，jedis会通知rediswin=0，此时redis不会再发送结果给jedis端，转而把响应结果保存在Redis服务端的输出缓冲区中。

输出缓冲区的配置：redis.conf

client-output-buffer-limit <class> <hardlimit> <softlimit> <softseconds>
client-output-buffer-limit normal 0 0 0
client-output-buffer-limit replica 256mb 64mb 60
client-output-buffer-limit pubsub 32mb 8mb 60

配置

作用

class

客户端类型，分为三种。a）normal：普通客户端；b）slave：slave客户端，用于复制；c）pubsub：发布订阅客户端

hardlimit

如果客户端使用的输出缓冲区大于<hardlimit>，客户端会被立即关闭，0代表不限制

soft limit soft seconds

如果客户端使用的输出缓冲区超过了<softlimit>并且持续了<softlimit>秒，客户端会被立即关闭

每个客户端使用的输出缓冲区的大小可以用clientlist命令查看

Pipeline适用于什么场景呢？

如果某些操作需要马上得到Redis操作是否成功的结果，这种场景就不适合。

有些场景，例如批量写入数据，对于结果的实时性和成功性要求不高，就可以用Pipeline。

以上是 Redispipeline（12） 的全部内容， 来源链接： utcz.com/z/514910.html

回到顶部