畅购商城(二):分布式文件系统FastDFS
好好学习,天天向上
本文已收录至我的Github仓库DayDayUP:github.com/RobodLee/DayDayUP,欢迎Star,更多文章请前往:目录导航
畅购商城(一):环境搭建 畅购商城(二):分布式文件系统FastDFS 畅购商城(三):商品管理 畅购商城(四):Lua、OpenResty、Canal实现广告缓存与同步 畅购商城(五):Elasticsearch实现商品搜索
FastDFS介绍
1. 简介
FastDFS是一个开源的轻量级分布式文件系统,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。FastDFS为互联网量身定制,充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。
2. 架构
FastDFS由跟踪服务器(Tracker Server)、存储服务器(Storage Server)和客户端(Client)构成。
Tracker
、Storage
和Client
Tracker不负责文件的存储,它主要负责文件管理负载均衡操作,就像是一个中介,为Client提供Storage的信息。而Storage才是负责文件上传,修改,删除等工作。
Client:“嗨,Tracker!你那里还有没有正在闲着的Storage呀?我现在有些文件需要存储。”
Tracker:“我来看看,嗯.... 找到了,Storage5现在正好闲着,他的地址是192.168.200:8888/group5,你直接去找他吧。”
Client:“OK!”
Client:“嗨,Storage5!我这里现在有一堆文件,就放你这里吧。”
Storage5:“好的,老板,帮你存好了,放在我这儿你就放心吧,我还让我家二弟帮你做了备份,不会丢的。”
Client:“好的,谢谢啦!”
......
通过上面的对话,就应该能明白这三者之间的关系了吧。
从图中可以看出,Storage是一个集群,集群里面分为一个一个的组,每个组里面有不止一台Storage(也可以是一台),这么设计有什么好处呢?首先并不是只有一台Storage为客户端提供服务,而是由Tracker动态地分配相对空闲的Storage给客户端提供服务,这样就做到了负载均衡
,使得不会有个别Storage压力过大。还有就是每个组里面不止一个Storage,一个组里面的所有Storage都是同步备份数据的,为的就是实现容灾
,一台Storage挂了数据也不会丢失,除非全挂了。还有一个好处就是可以很方便地实现线性扩容
,如果哪天Storage的空间不够用了,就可以直接添加一组Storage,然后注册到Tracker中。同样的,Tracker也是集群。
3. 文件上传流程
首先Storage会定时向Tracker上报自己的状态信息,这样Tracker就会知道Storage还是不是活着;当Client给Tracker发送请求的时候,Tracker会查询是否有可用的Storage;有的话就将Storage的信息给Client,Client在得到Storage的信息后,就将文件上传到Storage;Storage先是生成一个file_id,再将文件写入磁盘中保存,最后将file_id返回给Client。
4. file_id的格式
group1是Storage所在的组名,M00是Storage的虚拟路径,02/04是两级目录,后面的就是文件名了,这个文件名是自动生成的。
FastDFS搭建
我们要把FastDFS安装到docker中,首先要有docker的环境,资料提供的虚拟机里面已经安装好docker了。
1. 下载FastDFS
接下来将FastDFS的镜像下载到本地:
docker pull morunchang/fastdfs
下载完成之后看一下有没有:
docker images
已经下载好了,接下来就开始安装吧。
2. 安装Tracker和Storage
安装Tracker
docker run -d --name tracker --net=host morunchang/fastdfs sh tracker.sh
docker run:运行容器 -d:后台运行 --name trackr:起个名字,这里叫tracker,也可以用等号连接 --name=tracker --net=host:host网络模式,容器与宿主机共享IP morunchang/fastdfs:镜像 sh tracker.sh:执行一个名为tracker.sh的shell脚本
现在Tracker就安装好了。
安装Storage
docker run -d --name storage --net=host -e TRACKER_IP=192.168.31.200:22122 -e GROUP_NAME=group1 morunchang/fastdfs sh storage.sh
-e:将Storage添加到环境变量 TRACKER_IP:Tracker的IP以及端口 GROUP_NAME=group1:当前Storage的组名
Tracker和Storage开机自启动
现在我们的Tracker和Storage已经安装好了,但是如果每次开机都要去手动启动的话还是太麻烦了,所以设置一下开机自启动:
docker update --restart=always trackerdocker update --restart=always storage
需要注意的是这里的“tracker”和“storage”是前面--name设置的名字,前面设置的是什么,这里就写什么。到此为止,FastDFS就已经安装好了。
3. 配置ngx_fastdfs_module
当我们访问Storage中的文件资源的时候,中间是经过了Nginx,然后通过ngx_fastdfs_module去访问Storage的,ngx_fastdfs_module在安装Tracker和Storage的时候已经自动帮我们安装好了,我们来看一下。
docker exec -it storage /bin/bash //进入到storage容器中vim /etc/nginx/conf/nginx.conf //修改/etc/nginx/conf/目录下的nginx。conf文件
里面会有这么一段内容
location ~ /M00 { root /data/fast_data/data;
ngx_fastdfs_module;
}
上面这段内容就说明ngx_fastdfs_module已经配置好了。
4. 设置禁止缓存
当浏览器访问过Storage中的资源后,即便将Storage中的资源已经被删除了,浏览器还是会访问缓存中数据,那如果我们不想这样,就可以配置一下禁止缓存。还是上面的步骤,在里面添加一行内容:
location ~ /M00 { add_header Cache-Control no-store; #告诉浏览器不要缓存数据
root /data/fast_data/data;
ngx_fastdfs_module;
}
5. 文件位置
nginx配置文件
前面我们说过,访问Storage先是通过了Nginx,那么Nginx的配置文件在哪呢?
docker exec -it storage /bin/bash //进入到storage容器中cd etc/nginx/conf
可以看到,这里有个nginx.conf文件,这个就是nginx的配置文件。里面配置了Nginx的端口等信息。
Tracker和Storage配置文件
cd etc/fsds //切换到etc/fsds/conf目录下
storage.conf和tracker.conf分别是Storage和Tracker配置文件。
6. 存储的文件位置
上一节中提到了file_id的格式,其中有个虚拟目录M00,看配置文件中的M00,其实就是/data/fast_data/data目录。切换进来看看:
cd data/fast_data/data
这些都是目录,前面不是说了file_id的虚拟目录后面跟着二级目录么,再进入00目录看一下:
还是一堆目录,再进入00目录:
这个jpg文件是我刚才传上去的。
文件存储微服务
1. 创建微服务工程changgou-service-file
在changgou-service下新建一个Module叫做changgou-service-file,因为用到了fastdfs,自然需要添加依赖。
<dependencies><!-- FastDFS客户端程序包-->
<dependency>
<groupId>net.oschina.zcx7878</groupId>
<artifactId>fastdfs-client-java</artifactId>
<version>1.27.0.0</version>
</dependency>
</dependencies>
接下来就需要在resource目录下创建FastDFS的配置文件fdfs_client.conf:
#连接超时,单位是秒connect_timeout=60
#通信超时时间,发送或接收数据时。假设在超时时间后还不能发送或接收数据,则本次网络通信失败
network_timeout=60
#字符集
charset=UTF-8
#Tracker的http端口
http.tracker_http_port=8080
#Tracker服务器IP和端口设置
tracker_server=192.168.31.200:22122
注释的部分请删掉,我在使用的过程中总是连接失败,然后把注释删了就好了。
微服务工程自然也需要配置,在resource目录下创建application.yml:
spring: servlet:
multipart:
max-file-size:10MB#上传文件最大大小
max-request-size:10MB#请求数据最大大小
application:
name:file#该微服务的名字
server:
port:18082#该微服务的端口
eureka:
client:
service-url:
defaultZone:http://127.0.0.1:7001/eureka
instance:
prefer-ip-address:true
feign:
hystrix:
enabled:true
最后再创建一个启动类即可,在com.robod包下新建一个类FileApplication.class:
@SpringBootApplication(exclude = {DataSourceAutoConfiguration.class})@EnableEurekaClient
publicclassFileApplication{
publicstaticvoidmain(String[] args){
SpringApplication.run(FileApplication.class,args);
}
}
这里有个地方需要强调一下,就是(exclude = {DataSourceAutoConfiguration.class})
,它的作用是取消数据源自动导入。SpringBoot会自动从配置文件中查找spring.datasource.相关属性并自动配置单数据源。因为在这个微服务工程并没有配置数据库的相关属性,所以不加exclude的话就会报错。
***************************APPLICATION FAILED TO START
***************************
Description:
Failed to configure a DataSource: 'url' attribute is not specified and no embedded datasource could be configured.
Reason: Failed to determine a suitable driver class
Action:
Consider the following:
If you want an embedded database (H2, HSQL or Derby), please put it on the classpath.
If you have database settings to be loaded from a particular profile you may need to activate it (no profiles are currently active).
因此我们需要添加这行内容来取消数据源自动导入。
接下来我们先启动Eureka工程后再来启动一下该项目试试,启动后访问http://127.0.0.1:7001
OK! 项目成功启动,接下来就实现一下文件上传,删除等功能。
2. 文件操作功能的实现
为了方便管理,我们将文件信息封装成一个JavaBean,在com.robod.file包下新建一个类FastDFSFile:
@Data//不要忘了导入Lombok的依赖publicclassFastDFSFile{
//文件名
private String name;
//文件内容
privatebyte[] content;
//文件扩展名
private String ext;
//文件MD5摘要
private String md5;
//文件作者
private String author;
publicFastDFSFile(String name, byte[] content, String ext){
this.name = name;
this.content = content;
this.ext = ext;
}
publicFastDFSFile
(String name, byte[] content, String ext, String md5, String author){
this.name = name;
this.content = content;
this.ext = ext;
this.md5 = md5;
this.author = author;
}
}
现在再创建一个工具类来实现对文件的一些操作,在com.robod.utils包下新建一个类FastDFSUtils:
publicclassFastDFSUtils{
privatestatic StorageClient storageClient;
privatestatic TrackerClient trackerClient;
privatestatic TrackerServer trackerServer;
static {
try {
String path = new ClassPathResource("fdfs_client.conf").getPath();
//加载Tracker连接信息
ClientGlobal.init(path);
//创建一个Tracker的客户端对象
trackerClient = new TrackerClient();
//通过TrackerClient访问TrackerServer服务,获取连接对象
trackerServer = trackerClient.getConnection();
//通过TrackerServer的连接信息去获取Storage的连接信息,存储进StorageClient对象中
storageClient = new StorageClient(trackerServer, null);
} catch (Exception e) {
e.printStackTrace();
}
}
/**
* 上传文件
*
* @param file
*/
publicstatic String[] upload(FastDFSFile file) throws Exception {
//上传文件
return storageClient.upload_file(file.getContent(), file.getExt(), null);
}
/**
* 下载文件
* @param groupName 文件所在的组名 group1
* @param remoteFileName 文件的路径及名字 M00/00/00/wKgfyF8AjpSADeBLABXmlvc7iOY701.jpg
*/
publicstatic InputStream downloadFile(String groupName, String remoteFileName)throws Exception {
byte[] bytes = storageClient.download_file(groupName, remoteFileName);
returnnew ByteArrayInputStream(bytes);
}
/**
* 删除文件
* @param groupName 文件所在的组名 group1
* @param remoteFileName 文件的路径及名字 M00/00/00/wKgfyF8AjpSADeBLABXmlvc7iOY701.jpg
*/
publicstaticintdeleteFile(String groupName, String remoteFileName)throws Exception {
return storageClient.delete_file(groupName, remoteFileName);
}
/**
* 获取文件信息
* @param groupName 文件所在的组名 group1
* @param remoteFileName 文件的路径及名字 M00/00/00/wKgfyF8AjpSADeBLABXmlvc7iOY701.jpg
*/
publicstatic FileInfo getFileInfo(String groupName, String remoteFileName)throws Exception {
return storageClient.get_file_info(groupName,remoteFileName);
}
/**
* 获取storage信息
* @return store_path_index
*/
publicstatic StorageServer getStorage()throws IOException {
return trackerClient.getStoreStorage(trackerServer);
}
/**
* 获取Storage的IP和端口信息
* @param groupName
* @param fileName
* @return ServerInfo:ip_addr,port
* @throws IOException
*/
publicstatic ServerInfo[] getStorageInfo(String groupName, String fileName) throws IOException {
return trackerClient.getFetchStorages(trackerServer,groupName,fileName);
}
/**
* 获取Tracker信息
* @return
*/
publicstatic String getTrackerInfo(){
String ip = trackerServer.getInetSocketAddress().getHostString();
int port = ClientGlobal.getG_tracker_http_port();
returnnew StringBuilder(ip).append(":").append(port).toString();
}
}
在这个类中我们封装了对文件的一些列操作,现在就来写个入口,在com.robod.controller包下新建一个类FileController
@RestController@CrossOrigin
@RequestMapping("/file")
publicclassFileController{
@PostMapping("/upload")
public Result<String> upload(@RequestParam("file") MultipartFile multipartFile) throws Exception{
FastDFSFile fastDFSFile = new FastDFSFile(
multipartFile.getOriginalFilename(),
multipartFile.getBytes(),
StringUtils.getFilenameExtension(multipartFile.getOriginalFilename()));
System.out.println(fastDFSFile.toString() );
String[] upload = FastDFSUtils.upload(fastDFSFile);
String groupName = upload[0];
String fileName = upload[1];
System.out.println(groupName);
System.out.println(fileName);
System.out.println("------------------");
System.out.println("获取文件信息");
FileInfo fileInfo = FastDFSUtils.getFileInfo(groupName, fileName);
System.out.println(fileInfo.getSourceIpAddr());
System.out.println(fileInfo.getFileSize());
System.out.println(fileInfo.getCreateTimestamp());
System.out.println(fileInfo.getCrc32());
System.out.println("----------------------");
System.out.println("获取Storage信息");
StorageServer storage = FastDFSUtils.getStorage();
System.out.println(storage.getStorePathIndex());
System.out.println("-----------------");
System.out.println("获取Storage的IP和端口信息");
ServerInfo[] storageInfo = FastDFSUtils.getStorageInfo(groupName, fileName);
for (ServerInfo serverInfo : storageInfo) {
System.out.println(serverInfo.getIpAddr());
System.out.println(serverInfo.getPort());
}
System.out.println("--------------------");
System.out.println("获取Tracker信息");
String trackerInfo = FastDFSUtils.getTrackerInfo();
System.out.println(trackerInfo);
returnnew Result<>(true, StatusCode.OK,"文件上传成功","---");
}
}
将项目启动起来,用postman发送请求。
从控制台的打印情况中可以看出,文件成功上传到了服务器中,而且前面写的一些获取信息的方法也正常运行了。
写在最后
这篇文章先是介绍了FastDFS的一些知识,接着就是讲了FastDFS的安装以及文件路径和配置的内容,最后搭建了文件微服务并实现了对于文件的操作功能。如果我的文章对你有些帮助,不要忘了点赞,收藏,转发,关注。要是有什么好的意见欢迎在下方留言。让我们下期再见!
以上是 畅购商城(二):分布式文件系统FastDFS 的全部内容, 来源链接: utcz.com/a/34393.html