1.什么是FastDFS?
FastDFS是一个开源的轻量级分布式文件系统。它解决了大数据量存储和负载均衡等问题。特别适合以中小文件(建议范围:4KB < file_size <500MB)为载体的在线服务,如相册网站、视频网站等等。在UC基于FastDFS开发向用户提供了:网盘,社区,广告和应用下载等业务的存储服务。
2.FastDFS架构:
FastDFS服务端有三个角色:跟踪服务器(tracker server)、存储服务器(storage server)和客户端(client)。
tracker server:跟踪服务器,主要做调度工作,起负载均衡的作用。在内存中记录集群中所有存储组和存储服务器的状态信息,是客户端和数据服务器交互的枢纽。相比GFS中的master更为精简,不记录文件索引信息,占用的内存量很少。
storage server:存储服务器(又称:存储节点或数据服务器),文件和文件属性(meta data)都保存到存储服务器上。Storage server直接利用OS的文件系统调用管理文件。
client:客户端,作为业务请求的发起方,通过专有接口,使用TCP/IP协议与跟踪器服务器或存储节点进行数据交互。
3.测试环境
整个环境包含三台服务器,一台服务器运行tracker,storage和nginx功能,一台运行storage+tracker+nginx功能,最后一台运行storage+nginx功能。从功能上区分,为两个tracker、三个sroage,基本上够成了一个集群要求的最小规模。
192.168.106.131: nginx fdfs_storage fdfs_tracker 192.168.106.132: nginx(mod_fdfs) fdfs_storage fdfs_tracker 192.168.106.133: nginx(mod_fdfs) fdfs_storage
、
4.配置过程
系统环境:centos 6.x 64位 最小化安装系统
4.1.下载所需要文件
libfastcommon-master.zip fastdfs-master.zip fastdfs-nginx-module-master.zip nginx-1.6.3.tar.gz
4.2.系统准备
所有软件安装均基于最小安装的Centos6.x 64位系统,在三台服务器上前先yum安装以下依赖软件:
yum install gcc gcc-c++ kernel-devel pcre pcre-devel make libevent perl perl-devel gzip gzip-devel
4.3 安装
4.3.1在192.168.106.131-192.168.106.133上执行以下操作:
unzip fastdfs-master.zip unzip fastdfs-nginx-module-master.zip unzip libfastcommon-master.zip
4.3.2 安装libfastcommon(fdfs依赖,需要先安装)
cd libfastcommon-master make.sh make.sh install
安装fdfs
cd fastdfs-master
./make.sh
./make.sh install
4.3.3.在192.168.106.131上执行以下操作:
tar xzf nginx-1.6.3.tar.gz cd nginx-1.6.3 ./configure --prefix=/opt/yingmoo/nginx make make install
在192.168.106.132、192.168.106.132上执行以下操作:
tar xzf nginx-1.6.3.tar.gz mv fastdfs-nginx-module-master nginx-1.6.3/ ./configure --prefix=/opt/yingmoo/nginx --add-module=./fastdfs-nginx-module-master/src/ make make install cd fastdfs-nginx-module-master/src/ cp mime.types /etc/fdfs/ cp http.conf /etc/fdfs/
修改nginx.conf文件
location /M00 { root /home/yuqing/fastdfs/data; ngx_fastdfs_module; } /etc/init.d/nginx conifgtest /etc/init.d/nginx start
涉及到的配置文件 http.conf mime.types mod_fastdfs.conf storage.conf tracker.conf
192.168.106.131配置文件需要修改的内容如下:
tracker.cnof
bind_addr=192.168.106.131
storage.conf
bind_addr= 192.168.106.131 # tracker_server can ocur more than once, and tracker_server format is # "host:port", host can be hostname or ip address tracker_server=192.168.106.131:22122 tracker_server=192.168.106.132:22122
192.168.106.132
tracker.conf
# bind an address of this host # empty for bind all addresses of this host bind_addr=192.168.106.132
storage.conf
# bind an address of this host # empty for bind all addresses of this host bind_addr=192.168.106.132
# tracker_server can ocur more than once, and tracker_server format is # "host:port", host can be hostname or ip address tracker_server=192.168.106.131:22122 tracker_server=192.168.106.132:22122
mod_fastdfs.conf
# FastDFS tracker_server can ocur more than once, and tracker_server format is # "host:port", host can be hostname or ip address # valid only when load_fdfs_parameters_from_tracker is true tracker_server=192.168.106:131:22122 tracker_server=192.168.106:132:22122
192.168.106.133配置与132相同
4.3.4 在三台服务器上创建存储目录
mkdir /home/yuqing/fastdfs ln -s /home/yuqing/fastdfs/data /home/yuqing/fastdfs/data/M00 (需要在storage启动后执行)
4.4启动程序
/etc/init.d/fdfs_storage start /etc/init.d/fdfs_tracker start /etc/init.d/nginx start
启动后查看端口,出现22122 23000端口即安装成功。
可使用fdfs_test /etc/fdfs/client.conf upload name.jpg 进行测试!