畅购商城(二):分布式文件系统FastDFS

好好学习,天天向上

本文已收录至我的Github仓库DayDayUP:github.com/RobodLee/DayDayUP,欢迎Star,更多文章请前往:目录导航

  • 畅购商城(一):环境搭建
  • 畅购商城(二):分布式文件系统FastDFS
  • 畅购商城(三):商品管理
  • 畅购商城(四):Lua、OpenResty、Canal实现广告缓存与同步
  • 畅购商城(五):Elasticsearch实现商品搜索

FastDFS介绍

1. 简介

FastDFS是一个开源的轻量级分布式文件系统,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。FastDFS为互联网量身定制,充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。

2. 架构

FastDFS由跟踪服务器(Tracker Server)、存储服务器(Storage Server)和客户端(Client)构成。

  • TrackerStorageClient

Tracker不负责文件的存储,它主要负责文件管理负载均衡操作,就像是一个中介,为Client提供Storage的信息。而Storage才是负责文件上传,修改,删除等工作。

Client:“嗨,Tracker!你那里还有没有正在闲着的Storage呀?我现在有些文件需要存储。”

Tracker:“我来看看,嗯.... 找到了,Storage5现在正好闲着,他的地址是192.168.200:8888/group5,你直接去找他吧。”

Client:“OK!”

Client:“嗨,Storage5!我这里现在有一堆文件,就放你这里吧。”

Storage5:“好的,老板,帮你存好了,放在我这儿你就放心吧,我还让我家二弟帮你做了备份,不会丢的。”

Client:“好的,谢谢啦!”

......

通过上面的对话,就应该能明白这三者之间的关系了吧。

从图中可以看出,Storage是一个集群,集群里面分为一个一个的组,每个组里面有不止一台Storage(也可以是一台),这么设计有什么好处呢?首先并不是只有一台Storage为客户端提供服务,而是由Tracker动态地分配相对空闲的Storage给客户端提供服务,这样就做到了负载均衡,使得不会有个别Storage压力过大。还有就是每个组里面不止一个Storage,一个组里面的所有Storage都是同步备份数据的,为的就是实现容灾,一台Storage挂了数据也不会丢失,除非全挂了。还有一个好处就是可以很方便地实现线性扩容,如果哪天Storage的空间不够用了,就可以直接添加一组Storage,然后注册到Tracker中。同样的,Tracker也是集群。

3. 文件上传流程

首先Storage会定时向Tracker上报自己的状态信息,这样Tracker就会知道Storage还是不是活着;当Client给Tracker发送请求的时候,Tracker会查询是否有可用的Storage;有的话就将Storage的信息给Client,Client在得到Storage的信息后,就将文件上传到Storage;Storage先是生成一个file_id,再将文件写入磁盘中保存,最后将file_id返回给Client。

4. file_id的格式

group1是Storage所在的组名,M00是Storage的虚拟路径,02/04是两级目录,后面的就是文件名了,这个文件名是自动生成的。

FastDFS搭建

我们要把FastDFS安装到docker中,首先要有docker的环境,资料提供的虚拟机里面已经安装好docker了。

1. 下载FastDFS

接下来将FastDFS的镜像下载到本地:

docker pull morunchang/fastdfs

下载完成之后看一下有没有:

docker images

已经下载好了,接下来就开始安装吧。

2. 安装Tracker和Storage

安装Tracker

docker run -d --name tracker --net=host morunchang/fastdfs sh tracker.sh

  • docker run:运行容器
  • -d:后台运行
  • --name trackr:起个名字,这里叫tracker,也可以用等号连接 --name=tracker
  • --net=host:host网络模式,容器与宿主机共享IP
  • morunchang/fastdfs:镜像
  • sh tracker.sh:执行一个名为tracker.sh的shell脚本

现在Tracker就安装好了。

安装Storage

docker run -d --name storage --net=host -e TRACKER_IP=192.168.31.200:22122 -e GROUP_NAME=group1 morunchang/fastdfs sh storage.sh

  • -e:将Storage添加到环境变量
  • TRACKER_IP:Tracker的IP以及端口
  • GROUP_NAME=group1:当前Storage的组名

Tracker和Storage开机自启动

现在我们的Tracker和Storage已经安装好了,但是如果每次开机都要去手动启动的话还是太麻烦了,所以设置一下开机自启动:

docker update --restart=always tracker

docker update --restart=always storage

需要注意的是这里的“tracker”和“storage”是前面--name设置的名字,前面设置的是什么,这里就写什么。到此为止,FastDFS就已经安装好了。

3. 配置ngx_fastdfs_module

当我们访问Storage中的文件资源的时候,中间是经过了Nginx,然后通过ngx_fastdfs_module去访问Storage的,ngx_fastdfs_module在安装Tracker和Storage的时候已经自动帮我们安装好了,我们来看一下。

docker exec -it storage  /bin/bash   //进入到storage容器中

vim /etc/nginx/conf/nginx.conf //修改/etc/nginx/conf/目录下的nginx。conf文件

里面会有这么一段内容

location ~ /M00 {

root /data/fast_data/data;

ngx_fastdfs_module;

}

上面这段内容就说明ngx_fastdfs_module已经配置好了。

4. 设置禁止缓存

当浏览器访问过Storage中的资源后,即便将Storage中的资源已经被删除了,浏览器还是会访问缓存中数据,那如果我们不想这样,就可以配置一下禁止缓存。还是上面的步骤,在里面添加一行内容:

location ~ /M00 {

add_header Cache-Control no-store; #告诉浏览器不要缓存数据

root /data/fast_data/data;

ngx_fastdfs_module;

}

5. 文件位置

nginx配置文件

前面我们说过,访问Storage先是通过了Nginx,那么Nginx的配置文件在哪呢?

docker exec -it storage  /bin/bash   //进入到storage容器中

cd etc/nginx/conf

可以看到,这里有个nginx.conf文件,这个就是nginx的配置文件。里面配置了Nginx的端口等信息。

Tracker和Storage配置文件

cd etc/fsds  //切换到etc/fsds/conf目录下

storage.conf和tracker.conf分别是Storage和Tracker配置文件。

6. 存储的文件位置

上一节中提到了file_id的格式,其中有个虚拟目录M00,看配置文件中的M00,其实就是/data/fast_data/data目录。切换进来看看:

cd data/fast_data/data

这些都是目录,前面不是说了file_id的虚拟目录后面跟着二级目录么,再进入00目录看一下:

还是一堆目录,再进入00目录:

这个jpg文件是我刚才传上去的。

文件存储微服务

1. 创建微服务工程changgou-service-file

在changgou-service下新建一个Module叫做changgou-service-file,因为用到了fastdfs,自然需要添加依赖。

<dependencies>

<!-- FastDFS客户端程序包-->

<dependency>

<groupId>net.oschina.zcx7878</groupId>

<artifactId>fastdfs-client-java</artifactId>

<version>1.27.0.0</version>

</dependency>

</dependencies>

接下来就需要在resource目录下创建FastDFS的配置文件fdfs_client.conf:

#连接超时,单位是秒

connect_timeout=60

#通信超时时间,发送或接收数据时。假设在超时时间后还不能发送或接收数据,则本次网络通信失败

network_timeout=60

#字符集

charset=UTF-8

#Tracker的http端口

http.tracker_http_port=8080

#Tracker服务器IP和端口设置

tracker_server=192.168.31.200:22122

注释的部分请删掉,我在使用的过程中总是连接失败,然后把注释删了就好了。

微服务工程自然也需要配置,在resource目录下创建application.yml:

spring:

servlet:

multipart:

max-file-size:10MB#上传文件最大大小

max-request-size:10MB#请求数据最大大小

application:

name:file#该微服务的名字

server:

port:18082#该微服务的端口

eureka:

client:

service-url:

defaultZone:http://127.0.0.1:7001/eureka

instance:

prefer-ip-address:true

feign:

hystrix:

enabled:true

最后再创建一个启动类即可,在com.robod包下新建一个类FileApplication.class:

@SpringBootApplication(exclude = {DataSourceAutoConfiguration.class})

@EnableEurekaClient

publicclassFileApplication{

publicstaticvoidmain(String[] args){

SpringApplication.run(FileApplication.class,args);

}

}

这里有个地方需要强调一下,就是(exclude = {DataSourceAutoConfiguration.class}),它的作用是取消数据源自动导入。SpringBoot会自动从配置文件中查找spring.datasource.相关属性并自动配置单数据源。因为在这个微服务工程并没有配置数据库的相关属性,所以不加exclude的话就会报错。

***************************

APPLICATION FAILED TO START

***************************

Description:

Failed to configure a DataSource: 'url' attribute is not specified and no embedded datasource could be configured.

Reason: Failed to determine a suitable driver class

Action:

Consider the following:

If you want an embedded database (H2, HSQL or Derby), please put it on the classpath.

If you have database settings to be loaded from a particular profile you may need to activate it (no profiles are currently active).

因此我们需要添加这行内容来取消数据源自动导入。

接下来我们先启动Eureka工程后再来启动一下该项目试试,启动后访问http://127.0.0.1:7001

OK! 项目成功启动,接下来就实现一下文件上传,删除等功能。

2. 文件操作功能的实现

为了方便管理,我们将文件信息封装成一个JavaBean,在com.robod.file包下新建一个类FastDFSFile:

@Data//不要忘了导入Lombok的依赖

publicclassFastDFSFile{

//文件名

private String name;

//文件内容

privatebyte[] content;

//文件扩展名

private String ext;

//文件MD5摘要

private String md5;

//文件作者

private String author;

publicFastDFSFile(String name, byte[] content, String ext){

this.name = name;

this.content = content;

this.ext = ext;

}

publicFastDFSFile

(String name, byte[] content, String ext, String md5, String author){

this.name = name;

this.content = content;

this.ext = ext;

this.md5 = md5;

this.author = author;

}

}

现在再创建一个工具类来实现对文件的一些操作,在com.robod.utils包下新建一个类FastDFSUtils:

publicclassFastDFSUtils{

privatestatic StorageClient storageClient;

privatestatic TrackerClient trackerClient;

privatestatic TrackerServer trackerServer;

static {

try {

String path = new ClassPathResource("fdfs_client.conf").getPath();

//加载Tracker连接信息

ClientGlobal.init(path);

//创建一个Tracker的客户端对象

trackerClient = new TrackerClient();

//通过TrackerClient访问TrackerServer服务,获取连接对象

trackerServer = trackerClient.getConnection();

//通过TrackerServer的连接信息去获取Storage的连接信息,存储进StorageClient对象中

storageClient = new StorageClient(trackerServer, null);

} catch (Exception e) {

e.printStackTrace();

}

}

/**

* 上传文件

*

* @param file

*/

publicstatic String[] upload(FastDFSFile file) throws Exception {

//上传文件

return storageClient.upload_file(file.getContent(), file.getExt(), null);

}

/**

* 下载文件

* @param groupName 文件所在的组名 group1

* @param remoteFileName 文件的路径及名字 M00/00/00/wKgfyF8AjpSADeBLABXmlvc7iOY701.jpg

*/

publicstatic InputStream downloadFile(String groupName, String remoteFileName)throws Exception {

byte[] bytes = storageClient.download_file(groupName, remoteFileName);

returnnew ByteArrayInputStream(bytes);

}

/**

* 删除文件

* @param groupName 文件所在的组名 group1

* @param remoteFileName 文件的路径及名字 M00/00/00/wKgfyF8AjpSADeBLABXmlvc7iOY701.jpg

*/

publicstaticintdeleteFile(String groupName, String remoteFileName)throws Exception {

return storageClient.delete_file(groupName, remoteFileName);

}

/**

* 获取文件信息

* @param groupName 文件所在的组名 group1

* @param remoteFileName 文件的路径及名字 M00/00/00/wKgfyF8AjpSADeBLABXmlvc7iOY701.jpg

*/

publicstatic FileInfo getFileInfo(String groupName, String remoteFileName)throws Exception {

return storageClient.get_file_info(groupName,remoteFileName);

}

/**

* 获取storage信息

* @return store_path_index

*/

publicstatic StorageServer getStorage()throws IOException {

return trackerClient.getStoreStorage(trackerServer);

}

/**

* 获取Storage的IP和端口信息

* @param groupName

* @param fileName

* @return ServerInfo:ip_addr,port

* @throws IOException

*/

publicstatic ServerInfo[] getStorageInfo(String groupName, String fileName) throws IOException {

return trackerClient.getFetchStorages(trackerServer,groupName,fileName);

}

/**

* 获取Tracker信息

* @return

*/

publicstatic String getTrackerInfo(){

String ip = trackerServer.getInetSocketAddress().getHostString();

int port = ClientGlobal.getG_tracker_http_port();

returnnew StringBuilder(ip).append(":").append(port).toString();

}

}

在这个类中我们封装了对文件的一些列操作,现在就来写个入口,在com.robod.controller包下新建一个类FileController

@RestController

@CrossOrigin

@RequestMapping("/file")

publicclassFileController{

@PostMapping("/upload")

public Result<String> upload(@RequestParam("file") MultipartFile multipartFile) throws Exception{

FastDFSFile fastDFSFile = new FastDFSFile(

multipartFile.getOriginalFilename(),

multipartFile.getBytes(),

StringUtils.getFilenameExtension(multipartFile.getOriginalFilename()));

System.out.println(fastDFSFile.toString() );

String[] upload = FastDFSUtils.upload(fastDFSFile);

String groupName = upload[0];

String fileName = upload[1];

System.out.println(groupName);

System.out.println(fileName);

System.out.println("------------------");

System.out.println("获取文件信息");

FileInfo fileInfo = FastDFSUtils.getFileInfo(groupName, fileName);

System.out.println(fileInfo.getSourceIpAddr());

System.out.println(fileInfo.getFileSize());

System.out.println(fileInfo.getCreateTimestamp());

System.out.println(fileInfo.getCrc32());

System.out.println("----------------------");

System.out.println("获取Storage信息");

StorageServer storage = FastDFSUtils.getStorage();

System.out.println(storage.getStorePathIndex());

System.out.println("-----------------");

System.out.println("获取Storage的IP和端口信息");

ServerInfo[] storageInfo = FastDFSUtils.getStorageInfo(groupName, fileName);

for (ServerInfo serverInfo : storageInfo) {

System.out.println(serverInfo.getIpAddr());

System.out.println(serverInfo.getPort());

}

System.out.println("--------------------");

System.out.println("获取Tracker信息");

String trackerInfo = FastDFSUtils.getTrackerInfo();

System.out.println(trackerInfo);

returnnew Result<>(true, StatusCode.OK,"文件上传成功","---");

}

}

将项目启动起来,用postman发送请求。

从控制台的打印情况中可以看出,文件成功上传到了服务器中,而且前面写的一些获取信息的方法也正常运行了。

写在最后

这篇文章先是介绍了FastDFS的一些知识,接着就是讲了FastDFS的安装以及文件路径和配置的内容,最后搭建了文件微服务并实现了对于文件的操作功能。如果我的文章对你有些帮助,不要忘了点赞,收藏,转发,关注。要是有什么好的意见欢迎在下方留言。让我们下期再见!

微信公众号
微信公众号

以上是 畅购商城(二):分布式文件系统FastDFS 的全部内容, 来源链接: utcz.com/a/34393.html

回到顶部