.Net Core Configuration Etcd数据源

本文内容纲要:

- 前言

- 何为Etcd

- Configuration扩展Etcd

- 总结

前言

.Net Core为我们提供了一套强大的Configuration配置系统,使用简单扩展性强。通过这套配置系统我们可以将Json、Xml、Ini等数据源加载到程序中,也可以自己扩展其他形式的存储源。今天我们要做的就是通过自定义的方式为其扩展Etcd数据源操作。

何为Etcd

在使用etcd之前我们先介绍一下Etcd,我相信很多同学都早有耳闻。Etcd是一款高可用、强一致的分布式KV存储系统,它内部采用raft协议作为一致性算法,本身也是基于GO语言开发的,最新版本为v3.4.9,具体版本下载地址可参阅官方GitHub地址。相信了解过K8S的同学对这个肯定不陌生,它是K8S的数据管理系统。官方地址为https://etcd.io/。

在此之前,我相信大家已经了解过很多存储系统了,Etcd到底能实现了什么功能呢?其一用于配置中心和服务发现,再者也可以实现分布式锁和消息系统。它本身就是基于目录型存储,并且内部有一套强大的Watch机制可以监听针对节点和数据的操作变化,每次对节点的事务操作都会有对于的版本信息。

Etcd VS Zookeeper

通过上面的介绍是不是感觉和Zookeeper有点类似呢????????????,网上有很多很多关于Etcd和Zookeeper的对比文章,大致如下可以得到以下结论

功能EtcdZookeeper
分布式锁有(采用节点版本号信息)有(采用临时节点和顺序临时节点)
watcher
一致性算法raftzab
选举
元数据(metadata)存储

应用场景EtcdZookeeper
发布与订阅(配置中心)有(不限次Watch)有(一次性触发的,需要重新注册Watch)
软负载均衡
命名服务(Naming Service)
服务发现有(基于租约节点)有(基于临时节点)
分布式通知/协调
集群管理与Master选举
分布式锁
分布式队列

说白了就是Zookeeper能干的活,Etcd也能干。那既然有了Zookeeper为啥还要选择Etcd,主要基于以下原因

  • 更轻量级(Etcd基于GO语言开发,Zookeeper基于Java开发)、更易用(开箱即用)
  • 高负载下的稳定读写
  • 数据模型的多版本并发控制
  • 稳定的watcher功能,通知订阅者监听值的变化(Zookeeper基于数据的监听是一次性的,每次监听完成还需重新注册)
  • 客户端协议使用GRPC协议,支持语言更广泛

一言以蔽之,就是不仅实现了Zookeeper的功能,还在很多方面吊打Zookeeper????????????,这么强大的东西忍不住都要试一试。

在.Net Core中使用Etcd

在Nuget上可以搜索到很多.Net Core的Etcd客户端驱动程序,我使用了下载量最多的一个名字叫dotnet-etcd的驱动包,顺便找到了它在GayHub上,不好意思手滑打错了????????????GitHub上的项目地址,大概学习了一下基本的使用方式。其实我们结合Configuration配置这一块,只需要两个功能。一个是Get获取数据,另一个是Watch节点变化(更新数据会用到)。个人认为,前期有目有边界的学习还是非常重要的。

Configuration扩展Etcd

前面我们讲到过自定义扩展Configuration是非常方便的,相信了解过Configuration相关源码的小伙伴们已经非常熟悉了,大致总结一下分为三步:

  • 编写IConfigurationBuilder扩展方法,我们这里叫AddEtcd
  • 编写实现IConfigurationSource的配置源信息类,我们这里叫EtcdConfigurationSource
  • 编写继承自ConfigurationProvider的ConfigurationSource的配置数据提供类,我们这里叫EtcdConfigurationProvider

因为微软已经给我们提供了一部分便利,所以编写起来还是非常的简单的。好了,接下来我们开始编写具体的实现代码,重点的地方我会在代码中注释说明。

首先是定义扩展类EtcdConfigurationExtensions,这个类是针对IConfigurationBuilder的扩展方法,实现如下

public static class EtcdConfigurationExtensions

{

/// <summary>

/// AddEtcd扩展方法

/// </summary>

/// <param name="serverAddress">Etcd地址</param>

/// <param name="path">读取路径</param>

/// <returns></returns>

public static IConfigurationBuilder AddEtcd(this IConfigurationBuilder builder, string serverAddress,string path)

{

return AddEtcd(builder, serverAddress:serverAddress, path: path,reloadOnChange: false);

}

/// <summary>

/// AddEtcd扩展方法

/// </summary>

/// <param name="serverAddress">Etcd地址</param>

/// <param name="path">读取路径</param>

/// <param name="reloadOnChange">如果数据发送改变是否刷新</param>

/// <returns></returns>

public static IConfigurationBuilder AddEtcd(this IConfigurationBuilder builder, string serverAddress, string path, bool reloadOnChange)

{

return AddEtcd(builder,options => {

options.Address = serverAddress;

options.Path = path;

options.ReloadOnChange = reloadOnChange;

});

}

public static IConfigurationBuilder AddEtcd(this IConfigurationBuilder builder, Action<EtcdOptions> options)

{

EtcdOptions etcdOptions = new EtcdOptions();

options.Invoke(etcdOptions);

return builder.Add(new EtcdConfigurationSource { EtcdOptions = etcdOptions });

}

}

这里我还定义了一个EtcdOptions的POCO,用于承载读取Etcd的配置属性

public class EtcdOptions

{

/// <summary>

/// Etcd地址

/// </summary>

public string Address { get; set; }

/// <summary>

/// Etcd访问用户名

/// </summary>

public string UserName { get; set; }

/// <summary>

/// Etcd访问密码

/// </summary>

public string PassWord { get; set; }

/// <summary>

/// Etcd读取路径

/// </summary>

public string Path { get; set; }

/// <summary>

/// 数据变更是否刷新读取

/// </summary>

public bool ReloadOnChange { get; set; }

}

接下来我们定义EtcdConfigurationSource,这个类非常简单就是返回一个配置提供对象

public class EtcdConfigurationSource : IConfigurationSource

{

public EtcdOptions EtcdOptions { get; set; }

public IConfigurationProvider Build(IConfigurationBuilder builder)

{

return new EtcdConfigurationProvider(EtcdOptions);

}

}

真正的读取操作都在EtcdConfigurationProvider里

public class EtcdConfigurationProvider : ConfigurationProvider

{

private readonly string _path;

private readonly bool _reloadOnChange;

private readonly EtcdClient _etcdClient;

public EtcdConfigurationProvider(EtcdOptions options)

{

//实例化EtcdClient

_etcdClient = new EtcdClient(options.Address,username: options.UserName,password: options.PassWord);

_path = options.Path;

_reloadOnChange = options.ReloadOnChange;

}

/// <summary>

/// 重写加载方法

/// </summary>

public override void Load()

{

//读取数据

LoadData();

//数据发生变化是否重新加载

if (_reloadOnChange)

{

ReloadData();

}

}

private void LoadData()

{

//读取Etcd里的数据

string result = _etcdClient.GetValAsync(_path).GetAwaiter().GetResult();

if (string.IsNullOrEmpty(result))

{

return;

}

//转换一下数据结构,这里我使用的是json格式

//读取的数据只要赋值到Data属性上即可,IConfiguration真正读取的数据就是存储到Data的字典数据

Data = ConvertData(result);

}

private IDictionary<string,string> ConvertData(string result)

{

byte[] array = Encoding.UTF8.GetBytes(result);

MemoryStream stream = new MemoryStream(array);

//JsonConfigurationFileParser是将json数据转换为Configuration可读取的结构(复制JsonConfiguration类库里的????????????)

return JsonConfigurationFileParser.Parse(stream);

}

private void ReloadData()

{

WatchRequest request = new WatchRequest()

{

CreateRequest = new WatchCreateRequest()

{

//需要转换一个格式,因为etcd v3版本的接口都包含在grpc的定义中

Key = ByteString.CopyFromUtf8(_path)

}

};

//监听Etcd节点变化,获取变更数据,更新配置

_etcdClient.Watch(request, rsp =>

{

if (rsp.Events.Any())

{

var @event = rsp.Events[0];

//需要转换一个格式,因为etcd v3版本的接口都包含在grpc的定义中

Data = ConvertData(@event.Kv.Value.ToStringUtf8());

//需要调用ConfigurationProvider的OnReload方法触发ConfigurationReloadToken通知

//这样才能对使用Configuration的类发送数据变更通知

//比如IOptionsMonitor就是通过ConfigurationReloadToken通知变更数据的

OnReload();

}

});

}

}

使用方式如下

builder.AddEtcd("http://127.0.0.1:2379", "service/mydemo", true);

顺便给大家推荐一个Etcd可视化管理工具ETCD Manager,以便更好的学习Etcd。

到这里,基本上就结束了,是不是非常简单。主要还是Configuration本身的设计思路比较清晰,所以实现起来也不费劲。

总结

以上代码都已经上传了我的GitHub,该仓库还扩展了其他数据源的读取比如Consul、Properties文件、Yaml文件的读取,实现思路也都大致相似,有兴趣的同学可以自行查阅。由于主要是讲解实现思路,可能许多细节并未做处理还望见谅。如果有疑问或者更好的建议,欢迎评论区交流指导。

????欢迎扫码关注???? Image

本文内容总结:前言,何为Etcd,Configuration扩展Etcd,总结,

原文链接:https://www.cnblogs.com/wucy/p/13157245.html

以上是 .Net Core Configuration Etcd数据源 的全部内容, 来源链接: utcz.com/z/296958.html

回到顶部