- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
CFSDN坚持开源创造价值,我们致力于搭建一个资源共享平台,让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章fastdfs+nginx集群搭建的实现由作者收集整理,如果你对这篇文章有兴趣,记得点赞哟.
一.简介fastdfs 。
1.什么是fastdfs 。
2.fastdfs框架图 。
作者(yuqing)给出了框架图如下:
其中:
tracker server:跟踪服务器,主要做调度工作,在访问上起负载均衡的作用。记录storage server的状态,是连接client和storage server的枢纽。 storage server:存储服务器,文件和meta data都保存到存储服务器上 group:组,也可称为卷。同组内服务器上的文件是完全相同的文件标识:包括两部分:组名和文件名(包含路径) meta data:文件相关属性,键值对(key value pair)方式,如:width=1024,heigth=768 。
3.上传文件流程 。
(1)client询问tracker上传到的storage,不需要附加参数; (2)tracker返回一台可用的storage; (3)client直接和storage通讯完成文件上传。 。
4.下载文件流程 。
(1)client询问tracker下载文件的storage,参数为文件标识(组名和文件名); (2)tracker返回一台可用的storage; (3)client直接和storage通讯完成文件下载.
5.同步机制 。
(1)同一组内的storage server之间是对等的,文件上传、删除等操作可以在任意一台storage server上进行; (2)文件同步只在同组内的storage server之间进行,采用push方式,即源服务器同步给目标服务器; (3)源头数据才需要同步,备份数据不需要再次同步,否则就构成环路了; (4)上述第二条规则有个例外,就是新增加一台storage server时,由已有的一台storage server将已有的所有数据(包括源头数据和备份数据)同步给该新增服务器.
6.tracker server目录结构 。
(1)data 。
storage_groups.dat:存储分组信息 。
storage_servers.dat:存储服务器列表 。
(2)logs 。
trackerd.log:tracker server日志文件 。
7.storage server目录结构 。
1)data 。
.data_init_flag:当前storage server初始化信息 。
storage_stat.dat:当前storage server统计信息 。
sync:存放数据同步相关文件 。
binlog.index:当前的binlog文件索引号 。
binlog.###:存放更新操作记录(日志) 。
${ip_addr}_${port}.mark:存放同步的完成情况 。
(2)logs 。
storaged.log:storage server日志文件 。
以上理论参考:
chinaunix论坛:http://bbs.chinaunix.net/forum-240-1.html 。
github下载地址:https://github.com/happyfish100 。
2、fastdfs安装和测试 。
1.下载 。
需要下载:libfastcommon fastdfs(2.0之前的版本需要以来libevent) 。
2.安装 。
(1)安装libfastcommon 。
1
2
3
4
|
$ tar xzvf libfastcommon-1.0.38.tar.gz
$ cd libfastcommon-1.0.38
$ ./make.sh
$ sudo ./make.sh install
|
(2)安装fastdfs 。
1
2
3
4
|
$ tar xzvf fastdfs-5.11.tar.gz
$ cd fastdfs-5.11
$ ./make.sh
$ sudo ./make.sh install
|
3.配置 。
集群搭建拓扑图(由于硬盘不够了,下面192.168.31.4和192.168.31.14现在还没有,扩容后加上) 。
(1)配置tracker(192.168.31.95/192.168.31.99) 。
1
|
$cd /etc/fdfs/
|
目录文件如下:
然后,执行如下:
1
2
|
$sudo su
#cp tracker.conf.sample tracker.conf
|
配置tracker.conf文件:
1
|
vim tracker.conf
|
修改:base_path=/home/fastdfs/tracker (注意:在启动前必须存在此目录,否则会报错,找不到路径,也就是说需要手动新建tracker目录) 。
启动:
1
|
/etc/init.d/fdfs_trackerd start
|
。
(2)配置storage(192.168.31.2/192.168.31.12) 。
1
2
3
|
$ cd /etc/fdfs
$sudo su
#cp storage.conf.sample storage.conf
|
修改:
group_name=group1(192.168.31.2) 或者group2(192.168.31.12) 。
base_path=/home/fastdfs/storage 。
store_path0=/home/fastdfs/storage 。
修改:tracker服务ip与port:
tracker_server=192.168.31.95:22122 (注意:这里31.2 tracker_server配置31.95 ,31.12 tracker_server配置31.99) 。
启动:
1
|
/etc/init.d/fdfs_storaged start
|
查看fastdfs的相应配置信息 。
1
|
# fdfs_monitor /etc/fdfs/storage.conf
|
有以下信息才算成功:
测试上传, 选择192.168.31.99 tracker机器当做fdfs_client 。
1
2
3
4
5
6
7
|
$ cd /etc/fdfs
$ sudo su
# cp client.conf.sample client.conf
# vim client.conf
|
修改:
base_path = /home/fastdfs 。
tracker_server=192.168.31.99:22122 。
测试上传net.png文件:
1
|
fdfs_upload_file /etc/fdfs/client.conf net.png
|
3、nginx配置 。
需要安装:
fastdfs-nginx-module-1.20 类似插件的东西 。
nginx-1.14.2.tar.gz 。
安装nginx需要先安装:
openssl zlib pcre 。
把astdfs-nginx-module插入到nginx(需要对nginx进行configure和make&&make install) 。
1
|
./configure
--add-module=../../fastdfs-nginx-module/src/
|
会报错:需要修改fastdfs-nginx-module-1.20/src/config文件 。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
|
ngx_addon_name=ngx_http_fastdfs_module
if test -n
"${ngx_module_link}"
;
then
ngx_module_type=http
ngx_module_name=$ngx_addon_name
ngx_module_incs=
"/usr/local/include"
ngx_module_libs=
"-lfastcommon -lfdfsclient"
ngx_module_srcs=
"$ngx_addon_dir/ngx_http_fastdfs_module.c"
ngx_module_deps=
cflags=
"$cflags -d_file_offset_bits=64 -dfdfs_output_chunk_size='256*1024' -dfdfs_mod_conf_filename='\"/etc/fdfs/mod_fastdfs.conf\"'"
. auto/module
else
http_modules=
"$http_modules ngx_http_fastdfs_module"
ngx_addon_srcs=
"$ngx_addon_srcs $ngx_addon_dir/ngx_http_fastdfs_module.c"
core_incs=
"$core_incs /usr/local/include"
core_libs=
"$core_libs -lfastcommon -lfdfsclient"
cflags=
"$cflags -d_file_offset_bits=64 -dfdfs_output_chunk_size='256*1024' -dfdfs_mod_conf_filename='\"/etc/fdfs/mod_fastdfs.conf\"'"
fi
|
修改为:
ngx_module_incs="/usr/include/fastdfs /usr/include/fastcommon/" core_incs="$core_incs /usr/include/fastdfs /usr/include/fastcommon/" 。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
|
ngx_addon_name=ngx_http_fastdfs_module
if test -n
"${ngx_module_link}"
;
then
ngx_module_type=http
ngx_module_name=$ngx_addon_name
ngx_module_incs=
"/usr/include/fastdfs /usr/include/fastcommon/"
ngx_module_libs=
"-lfastcommon -lfdfsclient"
ngx_module_srcs=
"$ngx_addon_dir/ngx_http_fastdfs_module.c"
ngx_module_deps=
cflags=
"$cflags -d_file_offset_bits=64 -dfdfs_output_chunk_size='256*1024' -dfdfs_mod_conf_filename='\"/etc/fdfs/mod_fastdfs.conf\"'"
. auto/module
else
http_modules=
"$http_modules ngx_http_fastdfs_module"
ngx_addon_srcs=
"$ngx_addon_srcs $ngx_addon_dir/ngx_http_fastdfs_module.c"
core_incs=
"$core_incs /usr/include/fastdfs /usr/include/fastcommon/"
core_libs=
"$core_libs -lfastcommon -lfdfsclient"
cflags=
"$cflags -d_file_offset_bits=64 -dfdfs_output_chunk_size='256*1024' -dfdfs_mod_conf_filename='\"/etc/fdfs/mod_fastdfs.conf\"'"
fi
|
然后重新configure 和make && make install 。
接下来,cp mod_fastdfs.conf /etc/fdfs/ 并修改mod_fastdfs.conf文件 。
1
2
|
$ cd fastdfs-nginx-module-1.20/src
$ cp mod_fastdfs.conf /etc/fdfs/
|
修改mod_fastdfs.conf 。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
|
tracker_server=192.168.31.99:22122
store_path0=/home/fastdfs/storage
group_name=group1
[group1]
group_name=group1
storage_server_port=23000
store_path_count=1
store_path0=/home/fastdfs/storage
[group2]
group_name=group2
storage_server_port=23000
store_path_count=1
store_path0=/home/fastdfs/storage
|
将fastdfs-5.11/conf/ 。
1
2
|
$ cp http.conf /etc/fdfs/
$ cp mime.types /etc/fdfs/
|
修改:http.conf 。
1
|
http.anti_steal.token_check_fail=/home/fastdfs/fastdfs-5.11/conf/
|
修改nginx.conf 。
1
2
|
cd /usr/
local
/nginx/sbin
vim ../conf/nginx.conf
|
。
8888端口号与/etc/fdfs/storage.conf中的http.server_port=8888相对应 。
上传一张图片 。
http://192.168.31.12:8888/group1/m00/00/00/wkgfdfzxvtyam4suabwwvfb6x_k962.png 。
到此这篇关于fastdfs+nginx集群搭建的实现的文章就介绍到这了,更多相关fastdfs+nginx集群搭建内容请搜索我以前的文章或继续浏览下面的相关文章希望大家以后多多支持我! 。
原文链接:https://blog.csdn.net/pengshengli/article/details/90614237 。
最后此篇关于fastdfs+nginx集群搭建的实现的文章就讲到这里了,如果你想了解更多关于fastdfs+nginx集群搭建的实现的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。
一.简介fastdfs 1.什么是fastdfs fastdfs是一个轻量级的开源分布式文件系统; fastdfs主要解决了大容量的文件存储和高并发访问的问题,文件存取时实现了负载均
我是一名优秀的程序员,十分优秀!