SpringBoot2+Netty打造通俗简版RPC通信框架(升级版)

  • Z时代
  • 2024-01-10
  • 分类：综合

coding

背景

        上篇文章我简单的介绍了自己打造的通俗简版RPC通信框架，这篇是对简版的增强~

        如果大家对此项目还感兴趣的话，可到码云上瞄瞄：Netty-RPC

        上篇文章链接：《SpringBoot2+Netty打造通俗简版RPC通信框架》

        在介绍后续新增功能前，我们先回顾一下最简单的RPC通信的流程，流程图如下：

        我们可以看到其实整个流程其实是非常的简单的：客户端接收前端发送的请求，封装好请求Packet根据配置打开Netty通道进行通信，服务端接收请求Packet，解析并且根据请求信息，反射获取实现类调用方法，得到结果并封装好响应Packet然后返回结果给客户端，客户端获取结果响应给前端。

新增功能         因为是模仿Dubbo造RPC通信框架，那么Dubbo基本的功能我们当然也必须得有啦，下面列出的是我后续新增的优化：

  • 单一长连接

  • 服务注解，并且带版本号

  • 增加注册中心

  • 处理Netty客户端或服务端主动断开异常

  • 业务处理使用自定义业务线程池 详细的代码大家可到我的码云上阅读。

详细介绍

        首先，我们先看一下带注册中心后的流程图：

        我们可以看到多了个Zookeeper作为注册中心，然后就到了监听缓存列表，和服务缓存列表。大家不理解这两个列表不重要，下面我将继续详细的介绍一下我做这些功能的思路。

1、单一长连接：

        首先上一下简单的流程图：

        思路非常的简单：就是使用内存缓存缓存起来，结构就是Map，key为IP:Port  value为channel。

        在没有注册中心时，服务端的IP和PORT是写在配置文件里的，我们直接获取IP信息，并且判断在【Channel缓存列表】是否有此IP对应缓存起来的的Channel，有则获取直接进行RPC通信，否则创建新Channel进行RPC通信，记得还要缓存起来。         而在有注册中心时，我们需要在请求Packet中获取需要提供的服务名，然后根据服务名在【服务缓存列表】获取所有提供此服务的所有应用IP，然后就是判断IP列表在【Channel缓存列表】中是否有缓存的Channel，有则获取并直接进行RPC通信； 否则，遍历应用IP列表，直到创建新Channel通信并且连接成功，然后将Channel缓存起来。最后，进行RPC通信然后等待获取Result即可。

2、服务注解：

        我们知道需要进行RPC通信的接口都会加上@NettyRPC注解，然后在服务端这，每次都是使用Reflections框架扫描出指定路径下的所有类，再判断是否有服务的实现类，有则利用反射进行方法调用。这听起来可是相当浪费时间，哈哈。

        这时候，我们可以利用Spring框架来去除掉这个扫描的动作。首先，我们提供一个@NettyRpcService注解，来标识所有RPC服务的实现类。然后我们创建一个类，实现接口ApplicationContextAware。然后我们可以利用ApplicationContext的getBeansWithAnnotation方法类根据指定注解获取Bean，我们这里当然是指定前面的@NettyRPCService注解了，然后我们利用内存缓存来缓存起来【提供RPC服务的实现类列表】，结构为Map：key为接口名+版本号，value为bean实例。那么之后的大家应该就懂了，我们再也不必每次都使用Reflections框架了。

package com.hyf.rpc.netty.server.config;
import com.hyf.rpc.netty.anno.NettyRPCService;
import com.hyf.rpc.netty.properties.NettyProperties;
import com.hyf.rpc.netty.server.NettyServer;
import org.springframework.beans.BeansException;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.context.ApplicationContext;
import org.springframework.context.ApplicationContextAware;
import org.springframework.context.ApplicationListener;
import org.springframework.context.event.ContextRefreshedEvent;
import org.springframework.stereotype.Component;
import java.util.HashMap;
import java.util.Map;
/**
 * @author Howinfun
 * @desc Netty服务提供者启动&扫面存储提供服务的实现类
 * @date 2019/7/18
 */
@Component
public class NettyServerInitConfig implements ApplicationListener<ContextRefreshedEvent>, ApplicationContextAware {
    /** 提供RPC服务的实现类  key为接口名+版本号，value为bean实例*/
    public static final Map<String,Object> beanMap = new HashMap<>(10);
    @Autowired
    private NettyServer nettyServer;
    @Autowired
    private NettyProperties nettyProperties;
    /**
     * 当ApplicationContext初始或刷新完毕触发
     * @param event
     */
    @Override
    public void onApplicationEvent(ContextRefreshedEvent event) {
        if (nettyProperties.getServerPort() != null){
            nettyServer.start();
        }
    }
    @Override
    public void setApplicationContext(ApplicationContext applicationContext) throws BeansException {
        // 遍历带有NettyRPCService注释的服务实现类
        Map<String,Object> beans = applicationContext.getBeansWithAnnotation(NettyRPCService.class);
        if (beans != null && beans.size() > 0) {
            for (Object serviceBean : beans.values()) {
                String interfaceName = serviceBean.getClass().getAnnotation(NettyRPCService.class).value().getName();
                String version = serviceBean.getClass().getAnnotation(NettyRPCService.class).version();
                beanMap.put(interfaceName+version, serviceBean);
            }
        }
        System.out.println(beanMap.toString());
    }
}

3、注册中心：

        这个上一下简单的流程图先：

        顺便看一下Zookeeper的数据结构：

        我这里使用的是Zookeeper作为注册中心。首先大家得自己安装一个Zookeeper服务。我们做注册中心是利用Zookeeper的监听事件，当然了，Zookeeper原生的监听事件是利用Watcher，而且是一次性的，所以不用。我会使用第三方框架Curator。Curator引入了Cache来实现对Zookeeper服务端事件监听，Cache事件监听可以理解为一个本地缓存视图与远程Zookeeper视图的对比过程。Cache提供了反复注册的功能。Cache分为两类注册类型：节点监听和子节点监听。

        首先是服务端：在zookeeper的/root下创建名为配置文件中namespace(例如rpc-server)的节点，然后我们可在上面的扫描带@NettyRPCService实现类缓存起来的同时，每一个实现类就往/root/namespace下创建一个节点，节点名为@NettyRPCService的value().getName+version()，节点内容为IPPojo(ip+提供netty服务端口号)的Json字符串。         再来客户端：客户端主要是要做监听，首先是监听(使用PathChildrenCache,可监听子节点的增删改)根节点/root，如果有节点新增，则表明有新应用提供服务：这时候我们又要继续对此节点做监听(也是使用PathChildrenCache)，并且将PathChildrenCache缓存到内存缓存中【监听缓存列表】。如果有节点删除，则表明有应用不提供服务了：这时候我们将监听关闭掉，并且从【监听缓存列表】中删除，并且从【服务缓存列表】删除应用提供的所有服务。根节点/root下面的子节点才是真正提供的RPC服务：当新增，需要将节点信息缓存到内存缓存中【服务缓存列表】；当删除，从【服务缓存列表】中删除对应数据。

4、处理Netty客户端或服务端主动异常：

        客户端：在RPCResponsPacketHandler中重写exceptionCaught方法。首先是根据标识从【Channel缓存列表】中移除此Channel，然后根据标识从【服务缓存列表】中移除对应的所有服务，最后关闭通道ctx.channel().close()。         服务端：直接关闭通道即可，ctx.channel().close();

5、业务处理使用自定义业务线程池：     

        首先自定义一个线程池，根据自己需求去设计 核心线程数、最大线程数、线程保持活跃时间、队列、拒绝策略等。然后在业务处理除直接新建一个任务(实现Runnable接口)提交到线程池处理即可。

package com.hyf.rpc.netty.common;
import lombok.extern.slf4j.Slf4j;
import java.util.concurrent.Future;
import java.util.concurrent.LinkedBlockingQueue;
import java.util.concurrent.ThreadPoolExecutor;
import java.util.concurrent.TimeUnit;
/**
 * @author Howinfun
 * @desc
 * @date 2019/7/12
 */
@Slf4j
public class TaskThreadPool {
    public static final TaskThreadPool INSTANCE  = new TaskThreadPool();
    private final ThreadPoolExecutor executor;
    private TaskThreadPool(){
        /**
         * 核心线程数：10
         * 最大线程数：20
         * 线程保持活跃时间：60s
         * 队列：阻塞队列，最多存放100个任务
         * 拒绝策略：任务将被放弃
         */
        this.executor = new ThreadPoolExecutor(10,
                                            20,
                                            60, TimeUnit.SECONDS,
                new LinkedBlockingQueue<>(100),new ThreadPoolExecutor.CallerRunsPolicy());
    }
    public Future submit(Runnable task){
        log.info("业务线程池执行任务中...");
        Future future = executor.submit(task);
        return future;
    }
}

最后：

        到这里就基本已经全部结束了，虽然总体做得不是很好，但是起码自己经历了从0到1的所谓手写框架了，哈哈哈。同时，也将学到的Netty和Zookeeper等技术稍微实战了一下子，算是很满足了。接下来，得想想干点什么。。。。

以上是 SpringBoot2+Netty打造通俗简版RPC通信框架(升级版) 的全部内容， 来源链接： utcz.com/z/510053.html

回到顶部