fastdfs
FastDFS是一款轻量级的开源分布式文件系统，功能包括：文件存储、文件同步、文件上传、文件下载等，解决了文件大容量存储和高性能访问问题。特别适合以文件为载体的在线服务，如图片、视频、文档服务等等。
FastDFS是一款开源的分布式文件系统，功能主要包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了文件大容量存储和高性能访问的问题。FastDFS特别适合以文件为载体的在线服务，如图片、视频、文档等等。
FastDFS作为一款轻量级分布式文件系统，版本V6.01代码量6.3万行。FastDFS用C语言实现，支持Linux、FreeBSD、MacOS等类UNIX系统。FastDFS类似google FS，属于应用级文件系统，不是通用的文件系统，只能通过专有API访问，目前提供了C和Java SDK，以及PHP扩展SDK。
FastDFS为互联网应用量身定做，解决大容量文件存储问题，追求高性能和高扩展性。FastDFS可以看做是基于文件的key value存储系统，key为文件ID，value为文件内容，因此称作分布式文件存储服务更为合适。
开源地址：网页链接
#程序员#
#前端#
#程序员摸鱼日常#
fastdfs被淘汰了吗
1. FastDFS概述FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。
FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。
FastDFS服务端有两个角色：跟踪器（tracker）和存储节点（storage）。跟踪器主要做调度工作，在访问上起负载均衡的作用。
存储节点存储文件，完成文件管理的所有功能：就是这样的存储、同步和提供存取接口，FastDFS同时对文件的metadata进行管理。所谓文件的meta data就是文件的相关属性，以键值对（key value）方式表示，如：width=1024，其中的key为width，value为1024。文件metadata是文件属性列表，可以包含多个键值对。
跟踪器和存储节点都可以由一台或多台服务器构成。跟踪器和存储节点中的服务器均可以随时增加或下线而不会影响线上服务。其中跟踪器中的所有服务器都是对等的，可以根据服务器的压力情况随时增加或减少。
为了支持大容量，存储节点（服务器）采用了分卷（或分组）的组织方式。存储系统由一个或多个卷组成，卷与卷之间的文件是相互独立的，所有卷的文件容量累加就是整个存储系统中的文件容量。一个卷可以由一台或多台存储服务器组成，一个卷下的存储服务器中的文件都是相同的，卷中的多台存储服务器起到了冗余备份和负载均衡的作用。
在卷中增加服务器时，同步已有的文件由系统自动完成，同步完成后，系统自动将新增服务器切换到线上提供服务。
当存储空间不足或即将耗尽时，可以动态添加卷。只需要增加一台或多台服务器，并将它们配置为一个新的卷，这样就扩大了存储系统的容量。
FastDFS中的文件标识分为两个部分：卷名和文件名，二者缺一不可。
2. 环境搭建1、Linux-centos7上安装FastDFS（繁琐）自行百度，重点介绍docker安装方式
2、docker安装FastDFS（推荐）1.拉取镜像docker pull delron/fastdfs 2.使用docker镜像构建tracker容器（跟踪服务器，起到调度的作用）docker run -dti --network=host --name tracker -v /var/fdfs/tracker:/var/fdfs -v /etc/localtime:/etc/localtime delron/fastdfs tracker3.使用docker镜像构建storage容器（存储服务器，提供容量和备份服务）TRACKER_SERVER=本机的ip地址:22122 ，本机ip地址不要使用127.0.0.1
docker run -dti --network=host --name storage -e TRACKER_SERVER=192.168.157.133:22122 -v /var/fdfs/storage:/var/fdfs -v /etc/localtime:/etc/localtime delron/fastdfs storage4.进入storage容器，到storage的配置文件中配置http访问的端口，配置文件在/etc/fdfs目录下的storage.conf#进入容器docker exec -it storage bash #进入目录cd /etc/fdfs/ #编辑文件vi storage.conf
默认端口是8888，也可以不进行更改。
5.修改storage中的nginx 不需要安装cd /usr/local/nginx/confvi nginx.conf
6.修改完配置重启容器，没有修改就不需要重启docker stop storagedocker start storage如果重启后无法启动的会，可能是报下面错误了，手动创建 vi /var/fdfs/logs/storaged.log 文件即可 tail: cannot open '/var/fdfs/logs/storaged.log' for reading: No such file or directory
7.测试7.1 进入storage容器，进入/var/fdfs目录
docker exec -it storage bashcd /var/fdfsecho hello 这是我的第一个测试文件，大家觉得不错关注下吧>a.txt/usr/bin/fdfs_upload_file /etc/fdfs/client.conf a.txt
浏览器访问 http://ip:8888/group1/M00/00/00/wKgcgF-_Le6AS4LvAAAATzab9Do068.txt 端口根据你在starage里面设置的要保持一致，访问之前关闭防火墙或者自己单独开放端口
8.开放端口firewall-cmd --zone=public --permanent --add-port=8888/tcpfirewall-cmd --zone=public --permanent --add-port=22122/tcpfirewall-cmd --zone=public --permanent --add-port=23000/tcp重启防火墙
systemctl restart firewalld9.开机启动容器设置容器随docker启动而启动（由于docker是开机启动的，所以容器也会随之启动）
docker update --restart=always trackerdocker update --restart=always storage3. 服务器端口和防火墙由于服务器防火墙的原因，导致指定的端口未暴露会出现如下问题： 1、浏览器访问fastdfs上传的资源访问不到http://192.168.157.133:8888/group1/M00/00/00/wKidhWF1ABqAYqUwAAAATzab9Do485.txt 2、fastdfs-client客户端连接fastdfs服务出错 会报下面错误：
fastDFS报错：Unable to borrow buffer from pool
解决方案(centos7)：
1、关闭防火墙由于FastDFS安装在Linux中 22122端口被管控，windows系统访问时需要先关闭防火墙或者开放该端口 1.查看防火墙状态：
firewall-cmd --state
2.关闭并禁用防火墙，可能需要重启服务器
sudo systemctl stop firewalld.service sudo systemctl disable firewalld.service
3.查看防火墙状态：
firewall-cmd --state not running
2、开放端口firewall-cmd --zone=public --permanent --add-port=8888/tcpfirewall-cmd --zone=public --permanent --add-port=22122/tcpfirewall-cmd --zone=public --permanent --add-port=23000/tcp#重启防火墙systemctl restart firewalld然后重启fastdfs服务（tracker、storage、nginx）
4. FastDFS在Web项目中应用Controller层
package com.xjt.fdfs.controller;import cn.hutool.core.io.FileUtil;import com.github.tobato.fastdfs.domain.fdfs.StorePath;import com.github.tobato.fastdfs.domain.proto.storage.DownloadByteArray;import com.github.tobato.fastdfs.service.FastFileStorageClient;import io.swagger.annotations.Api;import io.swagger.annotations.ApiOperation;import io.swagger.annotations.ApiParam;import org.apache.commons.io.FilenameUtils;import org.springframework.beans.factory.annotation.Autowired;import org.springframework.util.StringUtils;import org.springframework.web.bind.annotation.PostMapping;import org.springframework.web.bind.annotation.RequestMapping;import org.springframework.web.bind.annotation.ResponseBody;import org.springframework.web.bind.annotation.RestController;import org.springframework.web.multipart.MultipartFile;import javax.servlet.http.HttpServletRequest;import javax.servlet.http.HttpServletResponse;import java.io.IOException;@Api(tags = "FastDFS测试")@RestController@RequestMapping("/api/fastdfs")public class FileController { @Autowired private FastFileStorageClient storageClient; public final static String server_host = "http://192.168.157.134:8888/"; @ResponseBody @ApiOperation(value = "上传文件",httpMethod = "POST") @PostMapping("/upload") public String uploadFile(@ApiParam("文件") MultipartFile file) throws IOException { StorePath storePath = storageClient.uploadFile(file.getInputStream(), file.getSize(), FilenameUtils.getExtension(file.getOriginalFilename()),null); String filepath = server_host + storePath.getFullPath(); return "文件上传成功 地址为："+filepath; } @ResponseBody @ApiOperation(value = "删除文件",httpMethod = "POST") @PostMapping("/delete") public void deleteFile(String fileUrl){ if (StringUtils.isEmpty(fileUrl)) { return; } try { StorePath storePath = StorePath.parseFromUrl(fileUrl); storageClient.deleteFile(storePath.getGroup(), storePath.getPath()); } catch (Exception e) { System.out.println(e.getMessage()); } } @ResponseBody @ApiOperation(value = "下载文件",httpMethod = "POST") @PostMapping("/download") public void downloadFile(HttpServletRequest request, HttpServletResponse response,String fileUrl){ try { StorePath storePath = StorePath.parseFromUrl(fileUrl); System.out.println(storePath.getGroup()); System.out.println(storePath.getPath()); byte[] bytes = storageClient.downloadFile(storePath.getGroup(), storePath.getPath(), new DownloadByteArray()); response.getOutputStream().write(bytes); FileUtil.writeBytes(bytes,FileUtil.file(storePath.getPath())); } catch (Exception e) { return; } }}配置文件application.properties
#fastdfs配置fdfs.connect-timeout=1500fdfs.so-timeout=1500fdfs.trackerList[0]=192.168.157.134:22122fdfs.thumbImage.height=150fdfs.thumbImage.width=150spring.jmx.enabled=falsefdfs.pool.max-total=200spring.servlet.multipart.max-file-size=1000MBspring.servlet.multipart.max-request-size=1000MB
fastdfs集群搭建
缺点：
不支持断点续传，对大文件将是噩梦(FastDFS不适合大文件存储)
不支持POSIX通用接口访问，通用性较低
同步机制不支持文件正确性校验，降低了系统的可用性，对跨公网的文件同步，存在较大延迟，需要应用做相应的容错策略
通过API下载，存在单点的性能瓶颈
优点：
系统无需支持POSIX(可移植操作系统)，降低了系统的复杂度，处理效率更高
支持在线扩容机制，增强系统的可扩展性
实现了软RAID，增强系统的并发处理能力及数据容错恢复能力
支持主从文件，支持自定义扩展名
支持多台备用Tracker，增强系统的可用性
支持Nginx和Apache扩展，可提供http下载
