gpt4 book ai didi

fastdfs+nginx集群搭建的实现

转载 作者:qq735679552 更新时间:2022-09-28 22:32:09 29 4
gpt4 key购买 nike

CFSDN坚持开源创造价值,我们致力于搭建一个资源共享平台,让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章fastdfs+nginx集群搭建的实现由作者收集整理,如果你对这篇文章有兴趣,记得点赞哟.

一.简介fastdfs 。

1.什么是fastdfs 。

  • fastdfs是一个轻量级的开源分布式文件系统;
  • fastdfs主要解决了大容量的文件存储和高并发访问的问题,文件存取时实现了负载均衡;
  • fastdfs实现了软件方式的raid,可以使用廉价的ide硬盘进行存储支持存储服务器在线扩容支持相同内容的文件只保存一份,节约磁盘空间;
  • fastdfs只能通过client api访问,不支持posix访问方式;
  • fastdfs特别适合大中型网站使用,用来存储资源文件(如:图片、文档、音频、视频等等)。

2.fastdfs框架图 。

作者(yuqing)给出了框架图如下:

fastdfs+nginx集群搭建的实现

其中:

tracker server:跟踪服务器,主要做调度工作,在访问上起负载均衡的作用。记录storage server的状态,是连接client和storage server的枢纽。 storage server:存储服务器,文件和meta data都保存到存储服务器上 group:组,也可称为卷。同组内服务器上的文件是完全相同的文件标识:包括两部分:组名和文件名(包含路径) meta data:文件相关属性,键值对(key value pair)方式,如:width=1024,heigth=768 。

 3.上传文件流程 。

fastdfs+nginx集群搭建的实现

 (1)client询问tracker上传到的storage,不需要附加参数;  (2)tracker返回一台可用的storage;  (3)client直接和storage通讯完成文件上传。  。

4.下载文件流程 。

fastdfs+nginx集群搭建的实现

(1)client询问tracker下载文件的storage,参数为文件标识(组名和文件名); (2)tracker返回一台可用的storage; (3)client直接和storage通讯完成文件下载.

5.同步机制 。

(1)同一组内的storage server之间是对等的,文件上传、删除等操作可以在任意一台storage server上进行; (2)文件同步只在同组内的storage server之间进行,采用push方式,即源服务器同步给目标服务器; (3)源头数据才需要同步,备份数据不需要再次同步,否则就构成环路了; (4)上述第二条规则有个例外,就是新增加一台storage server时,由已有的一台storage server将已有的所有数据(包括源头数据和备份数据)同步给该新增服务器.

6.tracker server目录结构 。

fastdfs+nginx集群搭建的实现

(1)data 。

         storage_groups.dat:存储分组信息 。

         storage_servers.dat:存储服务器列表   。

(2)logs 。

          trackerd.log:tracker server日志文件 。

7.storage server目录结构 。

1)data 。

         .data_init_flag:当前storage server初始化信息 。

         storage_stat.dat:当前storage server统计信息 。

         sync:存放数据同步相关文件 。

                 binlog.index:当前的binlog文件索引号 。

                 binlog.###:存放更新操作记录(日志) 。

                 ${ip_addr}_${port}.mark:存放同步的完成情况 。

(2)logs 。

              storaged.log:storage server日志文件 。

以上理论参考:

chinaunix论坛:http://bbs.chinaunix.net/forum-240-1.html 。

github下载地址:https://github.com/happyfish100 。

2、fastdfs安装和测试 。

1.下载 。

需要下载:libfastcommon     fastdfs(2.0之前的版本需要以来libevent) 。

fastdfs+nginx集群搭建的实现

fastdfs+nginx集群搭建的实现

2.安装 。

(1)安装libfastcommon 。

?
1
2
3
4
$ tar xzvf libfastcommon-1.0.38.tar.gz
$ cd libfastcommon-1.0.38
$ ./make.sh
$ sudo ./make.sh install

(2)安装fastdfs 。

?
1
2
3
4
$ tar xzvf fastdfs-5.11.tar.gz
$ cd fastdfs-5.11
$ ./make.sh
$ sudo ./make.sh install

3.配置 。

集群搭建拓扑图(由于硬盘不够了,下面192.168.31.4和192.168.31.14现在还没有,扩容后加上) 。

fastdfs+nginx集群搭建的实现

(1)配置tracker(192.168.31.95/192.168.31.99) 。

?
1
$cd /etc/fdfs/

目录文件如下:

fastdfs+nginx集群搭建的实现

然后,执行如下:

?
1
2
$sudo su
#cp tracker.conf.sample tracker.conf

fastdfs+nginx集群搭建的实现

配置tracker.conf文件:

?
1
vim tracker.conf

修改:base_path=/home/fastdfs/tracker (注意:在启动前必须存在此目录,否则会报错,找不到路径,也就是说需要手动新建tracker目录) 。

fastdfs+nginx集群搭建的实现

启动:

?
1
/etc/init.d/fdfs_trackerd start

  。

(2)配置storage(192.168.31.2/192.168.31.12) 。

?
1
2
3
$ cd /etc/fdfs
$sudo su
#cp storage.conf.sample storage.conf

修改:

group_name=group1(192.168.31.2) 或者group2(192.168.31.12) 。

base_path=/home/fastdfs/storage 。

store_path0=/home/fastdfs/storage 。

修改:tracker服务ip与port:

tracker_server=192.168.31.95:22122  (注意:这里31.2 tracker_server配置31.95 ,31.12 tracker_server配置31.99) 。

fastdfs+nginx集群搭建的实现

fastdfs+nginx集群搭建的实现

启动:

?
1
/etc/init.d/fdfs_storaged start

fastdfs+nginx集群搭建的实现

查看fastdfs的相应配置信息 。

?
1
# fdfs_monitor /etc/fdfs/storage.conf

 有以下信息才算成功:

fastdfs+nginx集群搭建的实现

测试上传, 选择192.168.31.99 tracker机器当做fdfs_client 。

?
1
2
3
4
5
6
7
$ cd /etc/fdfs
 
$ sudo su
 
# cp client.conf.sample client.conf
 
# vim client.conf

修改:

base_path = /home/fastdfs 。

tracker_server=192.168.31.99:22122 。

fastdfs+nginx集群搭建的实现

测试上传net.png文件:

?
1
fdfs_upload_file /etc/fdfs/client.conf net.png

fastdfs+nginx集群搭建的实现

3、nginx配置 。

需要安装:

fastdfs-nginx-module-1.20  类似插件的东西 。

nginx-1.14.2.tar.gz 。

安装nginx需要先安装:

openssl       zlib     pcre 。

把astdfs-nginx-module插入到nginx(需要对nginx进行configure和make&&make install) 。

?
1
./configure --add-module=../../fastdfs-nginx-module/src/

fastdfs+nginx集群搭建的实现

 会报错:需要修改fastdfs-nginx-module-1.20/src/config文件 。

fastdfs+nginx集群搭建的实现

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
ngx_addon_name=ngx_http_fastdfs_module
 
if test -n "${ngx_module_link}" ; then
   ngx_module_type=http
   ngx_module_name=$ngx_addon_name
   ngx_module_incs= "/usr/local/include"
   ngx_module_libs= "-lfastcommon -lfdfsclient"
   ngx_module_srcs= "$ngx_addon_dir/ngx_http_fastdfs_module.c"
   ngx_module_deps=
   cflags= "$cflags -d_file_offset_bits=64 -dfdfs_output_chunk_size='256*1024' -dfdfs_mod_conf_filename='\"/etc/fdfs/mod_fastdfs.conf\"'"
   . auto/module
else
   http_modules= "$http_modules ngx_http_fastdfs_module"
   ngx_addon_srcs= "$ngx_addon_srcs $ngx_addon_dir/ngx_http_fastdfs_module.c"
   core_incs= "$core_incs /usr/local/include"
   core_libs= "$core_libs -lfastcommon -lfdfsclient"
   cflags= "$cflags -d_file_offset_bits=64 -dfdfs_output_chunk_size='256*1024' -dfdfs_mod_conf_filename='\"/etc/fdfs/mod_fastdfs.conf\"'"
fi

修改为:

ngx_module_incs="/usr/include/fastdfs /usr/include/fastcommon/" core_incs="$core_incs /usr/include/fastdfs /usr/include/fastcommon/" 。

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
ngx_addon_name=ngx_http_fastdfs_module
 
if test -n "${ngx_module_link}" ; then
   ngx_module_type=http
   ngx_module_name=$ngx_addon_name
   ngx_module_incs= "/usr/include/fastdfs /usr/include/fastcommon/"
   ngx_module_libs= "-lfastcommon -lfdfsclient"
   ngx_module_srcs= "$ngx_addon_dir/ngx_http_fastdfs_module.c"
   ngx_module_deps=
   cflags= "$cflags -d_file_offset_bits=64 -dfdfs_output_chunk_size='256*1024' -dfdfs_mod_conf_filename='\"/etc/fdfs/mod_fastdfs.conf\"'"
   . auto/module
else
   http_modules= "$http_modules ngx_http_fastdfs_module"
   ngx_addon_srcs= "$ngx_addon_srcs $ngx_addon_dir/ngx_http_fastdfs_module.c"
   core_incs= "$core_incs /usr/include/fastdfs /usr/include/fastcommon/"
   core_libs= "$core_libs -lfastcommon -lfdfsclient"
   cflags= "$cflags -d_file_offset_bits=64 -dfdfs_output_chunk_size='256*1024' -dfdfs_mod_conf_filename='\"/etc/fdfs/mod_fastdfs.conf\"'"
fi

然后重新configure 和make && make install 。

接下来,cp mod_fastdfs.conf /etc/fdfs/ 并修改mod_fastdfs.conf文件 。

?
1
2
$ cd fastdfs-nginx-module-1.20/src
$ cp mod_fastdfs.conf /etc/fdfs/

修改mod_fastdfs.conf 。

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
tracker_server=192.168.31.99:22122
store_path0=/home/fastdfs/storage
group_name=group1
 
[group1]
group_name=group1
storage_server_port=23000
store_path_count=1
store_path0=/home/fastdfs/storage
 
 
[group2]
group_name=group2
storage_server_port=23000
store_path_count=1
store_path0=/home/fastdfs/storage

 将fastdfs-5.11/conf/ 。

?
1
2
$ cp http.conf /etc/fdfs/
$ cp mime.types /etc/fdfs/

修改:http.conf 。

?
1
http.anti_steal.token_check_fail=/home/fastdfs/fastdfs-5.11/conf/

fastdfs+nginx集群搭建的实现

修改nginx.conf  。

?
1
2
cd /usr/ local /nginx/sbin
vim ../conf/nginx.conf

  。

 8888端口号与/etc/fdfs/storage.conf中的http.server_port=8888相对应 。

上传一张图片 。

fastdfs+nginx集群搭建的实现

http://192.168.31.12:8888/group1/m00/00/00/wkgfdfzxvtyam4suabwwvfb6x_k962.png 。

fastdfs+nginx集群搭建的实现

到此这篇关于fastdfs+nginx集群搭建的实现的文章就介绍到这了,更多相关fastdfs+nginx集群搭建内容请搜索我以前的文章或继续浏览下面的相关文章希望大家以后多多支持我! 。

原文链接:https://blog.csdn.net/pengshengli/article/details/90614237 。

最后此篇关于fastdfs+nginx集群搭建的实现的文章就讲到这里了,如果你想了解更多关于fastdfs+nginx集群搭建的实现的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。

29 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com