Java高级架构之FastDFS分布式文件集群详解-6ren

Java高级架构之FastDFS分布式文件集群详解

转载作者：qq735679552 更新时间：2022-09-29 22:32:09

CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章Java高级架构之FastDFS分布式文件集群详解由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.

fastdfs简介。

fastdfs是一款开源的轻量级分布式文件系统，使用c实现，支持linux、bsd等unix-like操作系统。值得注意的是，fastdfs并不是通用的文件系统，只能通过专用的api访问.

fastdfs为互联网应用量身定做，解决了大容量文件存储的问题，fastdfs追求高性能和高扩展性。fastdfs的主要概念:

tracker-server：跟踪服务器。用于跟踪文件，主要起调度作用。在内存中记录了所有存储组和存储服务器的状态信息，是客户端和数据存储的主要枢纽。相比gfs更为精简，因为不记录文件索引.

storage-server: 存储服务器。用于存储文件。直接使用操作系统的文件系统来管理和组织文件.

group: 组，卷。多个服务器存在一个组中，在一个组中的服务器存储的文件是完全相同的，并且同一个组的服务器地位是对等的。对于文件的操作可以在任意一个组中的服务器上进行.

metadata: 元数据。以键值对的方式存储，用于存储文件的相关信息.

Java高级架构之FastDFS分布式文件集群详解

各大存储系统的对比。

话说没有对比就没有伤害，fastdfs也不是万能的，需要根据业务来选择适合的存储系统.

。

存储系统	适合存储的文件类型	文件分布情况	系统性能	复杂度	fuse(用户文件系统)	posix()	备份机制	通讯协议接口	社区情况	实现语言
fastdfs	4kb至500mb	将小文件合并存储	很高	简单	不支持	不支持	组内冗余备份	http api	国内用户	c
tfs	所有文件	小文件合并以块组织分片	-	复杂	不支持	不支持	块存储多份,主辅灾备	http api	少	c++
mfs	大于64k	分片存储	master节点占用内存较高	-	支持	支持	多点备份,动态冗余	使用fuse挂载	较多	perl
hdfs	大文件	大文件分片块存储	-	简单	支持	支持	多副本	原生api	较多	java
ceph	对象大文件	osd一主多从	-	复杂	支持	支持	多副本	原生api	较少	c++
mogilefs	海量小图片	-	高	复杂	支持	不支持	动态冗余	原生api	文档少	perl
clusterfs	大文件	-	-	简单	支持	支持	-	-	多	c

。

github项目主页：https://github.com/happyfish100/fastdfs 。

fastdfs客户端与服务器端交互原理。

Java高级架构之FastDFS分布式文件集群详解

fastdfs+nginx整合。

架构图。

Java高级架构之FastDFS分布式文件集群详解

安装fastdfs 。

 
    ? 
   
         mkdir /source 
        
         cd /source 
        
         yum install -y gcc gcc-c++ make cmake wget libevent 
        
         wget https: 
         //github.com/happyfish100/libfastcommon/archive/v1.0.35.tar.gz 
        
         wget https: 
         //github.com/happyfish100/fastdfs/archive/v5.10.tar.gz 
        
         tar -zxvf v1. 
         0.35 
         .tar.gz 
        
         tar -zxvf v5. 
         10 
         .tar.gz 
        
         cd libfastcommon- 
         1.0 
         . 
         35 
        
         ./make.sh 
        
         ./make.sh install 
        
         ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so 
        
         cd ../ 
        
         cd fastdfs- 
         5.10 
         / 
        
         ./make.sh 
        
         ./make.sh install 
        
         cd ../ 
        
         rm -rf libfastcommon- 
         1.0 
         . 
         35 
        
         rm -rf fastdfs- 
         5.10 
        
         cp /etc/fdfs/tracker.conf.sample /etc/fdfs/tracker.conf 
        
         cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage.conf 
        
         cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf 
        
         mkdir -p /data/fdfs/tracker 
        
         mkdir -p /data/fdfs/storage 
        
         ln -s /usr/bin/stop.sh /usr/local/bin/stop.sh 
        
         ln -s /usr/bin/restart.sh /usr/local/bin/restart.sh

修改配置文件。

修改跟踪器配置文件:

 
    ? 
   
         base_path=/data/fdfs/tracker

修改存储器配置文件:

 
    ? 
   
         base_path=/data/fdfs/storage 
        
         store_path0=/data/fdfs/storage 
        
         tracker_server= 
         192.168 
         . 
         80.3 
         : 
         22122

修改客户端配置文件:

 
    ? 
   
         base_path=/data/fdfs/client 
        
         tracker_server= 
         192.168 
         . 
         80.3 
         : 
         22122

启动。

 
    ? 
   
         /etc/init.d/fdfs_trackerd start 
        
         /etc/init.d/fdfs_storaged start

 
    ? 
   
 
     
       
       
         netstat -tunlap | grep : 
         22122 
        
 
         tcp     
         0   
         0 
         0.0 
         . 
         0.0 
         : 
         22122      
         0.0 
         . 
         0.0 
         :*        listen    
         7247 
         /fdfs_trackerd  
        
 
         tcp     
         0   
         0 
         192.168 
         . 
         80.3 
         : 
         22122   
         192.168 
         . 
         80.3 
         : 
         39318   
         established  
         7247 
         /fdfs_trackerd  
        
 
         tcp     
         0   
         0 
         192.168 
         . 
         80.3 
         : 
         39318   
         192.168 
         . 
         80.3 
         : 
         22122   
         established  
         7444 
         /fdfs_storaged 
        
 
     
 
   

启动后要查看状态, 出现 active (exited) 字样可以尝试重启服务.

测试。

 
    ? 
   
         /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /source/fastdfs_v5. 
         05 
         .tar.gz 
        
         group1/m00/ 
         00 
         / 
         00 
         /wkhqa1ysjsgapjxbaavfol7fju4.tar.gz

文件存储在:

 
    ? 
   
         ll /data/fdfs/storage/data/ 
         00 
         / 
         00 
         /wkhqa1ysjsgapjxbaavfol7fju4.tar.gz

安装nginx并配置模块。

 
    ? 
   
         # 安装nginx需要的pcre（perl兼容正则表达式）库，允许nginx使用rewrite模块提供url重写功能。 
        
         yum install pcre pcre-devel perl-extutils-embed -y 
        
         # 安装openssl-devel，允许nginx提供https服务。 
        
         yum install openssl-devel -y 
        
         # 下载软件包 
        
         cd /source 
        
         wget http: 
         //59.80.44.46/nginx.org/download/nginx-1.14.2.tar.gz 
        
         wget http: 
         //nchc.dl.sourceforge.net/project/fastdfs/fastdfs%20nginx%20module%20source%20code/fastdfs-nginx-module_v1.16.tar.gz 
        
         # 解压软件包 
        
         tar xvf nginx- 
         1.14 
         . 
         2 
         .tar.gz 
        
         tar xvf fastdfs-nginx-module_v1. 
         16 
         .tar.gz 
        
         # 创建必要的软连接 
        
         ln -s /usr/include/fastdfs/ /usr/local/include/fastdfs 
        
         ln -s /usr/include/fastcommon/ /usr/local/include/fastcommon 
        
         cp fastdfs/conf/http.conf /etc/fdfs/ 
        
         cp fastdfs/conf/mime.types /etc/fdfs/ 
        
         cp fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/ 
        
         mkdir -p /data/fdfs/fastdfs-nginx-module

修改配置文件 /etc/fdfs/mod_fastdfs.conf

 
    ? 
   
         connect_timeout= 
         10 
        
         base_path=/data/fdfs/fastdfs-nginx-module 
        
         # 配置服务器的地址 
        
         tracker_server= 
         192.168 
         . 
         80.3 
         : 
         22122 
        
         url_have_group_name =  
         true 
        
         store_path0=/data/fdfs/storage

 
    ? 
   
         mkdir /applications 
        
         mkdir /tmp/nginx 
        
         useradd nginx -s /sbin/nologin -m 
        
         cd nginx- 
         1.14 
         . 
         2 
        
         ./configure \ 
        
         --user=nginx \ 
        
         --group=nginx \ 
        
         --prefix=/applications/nginx- 
         1.14 
         . 
         2 
         \ 
        
         --with-http_ssl_module \ 
        
         --with-http_gzip_static_module \ 
        
         --http-client-body-temp-path=/tmp/nginx/client \ 
        
         --http-proxy-temp-path=/tmp/nginx/proxy \ 
        
         --http-fastcgi-temp-path=/tmp/nginx/cgi \ 
        
         --with-poll_module \ 
        
         --with-file-aio \ 
        
         --with-http_realip_module \ 
        
         --with-http_addition_module \ 
        
         --with-http_random_index_module \ 
        
         --with-pcre \ 
        
         --with-http_stub_status_module \ 
        
         --with-stream \ 
        
         --add-module=/source/fastdfs-nginx-module/src 
        
         make 
        
         make install 
        
         ln -s /applications/nginx- 
         1.14 
         . 
         2 
         / /applications/nginx 
        
         chown -r nginx.nginx /applications/nginx 
        
         chown -r nginx.nginx /applications/nginx- 
         1.14 
         . 
         2 
         / 
        
         chown -r nginx.nginx /tmp/nginx/

修改配置文件 /applications/nginx/conf/nginx.conf , 在http区块添加:

 
    ? 
   
         server { 
        
         listen     
         8000 
         ; 
        
         server_name media; 
        
         location / { 
        
         root  html; 
        
         index index.html index.htm; 
        
         } 
        
         # 拦截文件请求，转发到下面的模块 
        
         location ~/group[ 
         0 
         - 
         9 
         ] { 
        
         ngx_fastdfs_module; 
        
         } 
        
         error_page   
         500 
         502 
         503 
         504 
         /50x.html; 
        
         location = /50x.html { 
        
         root  html; 
        
         } 
        
         }

测试配置文件正确性并启动:

 
    ? 
   
         /applications/nginx/sbin/nginx -t 
        
         /applications/nginx/sbin/nginx

删除临时文件:

 
    ? 
   
         rm -rf fastdfs 
        
         rm -rf fastdfs-nginx-module 
        
         rm -rf libfastcommon- 
         1.0 
         . 
         35 
        
         rm -rf nginx- 
         1.14 
         . 
         2

测试nginx文件下载功能, 在浏览器输入： http://192.168.80.3:8000/group1/m00/00/00/wkhqa1ysjsgapjxbaavfol7fju4.tar.gz 。

一个nginx只能访问一个storage服务器的数据，所以多个storage服务器要配置多个nginx，然后将nginx按照请求路径中的组id(groupid)进行路由.

简单的启动停止服务的脚本:

 
    ? 
   
         # start-service 
        
         # usage: ./start-service 
        
         echo  
         "============================================sync datetime===========================================" 
        
         ntpdate time7.aliyun.com 
        
         echo  
         "===========================================getting status===========================================" 
        
         /etc/init.d/fdfs_trackerd status 
        
         /etc/init.d/fdfs_storaged status 
        
         echo  
         "==========================================starting service==========================================" 
        
         /etc/init.d/fdfs_storaged start 
        
         /etc/init.d/fdfs_trackerd start 
        
         echo  
         "===========================================getting status===========================================" 
        
         /etc/init.d/fdfs_trackerd status 
        
         /etc/init.d/fdfs_storaged status 
        
         echo  
         "=========================================testing config file========================================" 
        
         /applications/nginx/sbin/nginx -t 
        
         echo  
         "=========================================starting web server========================================" 
        
         /applications/nginx/sbin/nginx 
        
         echo  
         "=======================================getting network status=======================================" 
        
         sleep 5s 
        
         netstat -tunlap | grep : 
         22122 
        
         netstat -tunlap | grep : 
         8000

 
    ? 
   
         # stop-service 
        
         # usage: ./stop-service 
        
         echo  
         "===========================================getting status===========================================" 
        
         /etc/init.d/fdfs_trackerd status 
        
         /etc/init.d/fdfs_storaged status 
        
         echo  
         "==========================================stopping service==========================================" 
        
         /etc/init.d/fdfs_storaged stop 
        
         /etc/init.d/fdfs_trackerd stop 
        
         echo  
         "========================================stopping web server=========================================" 
        
         kill `cat /applications/nginx/logs/nginx.pid` 
        
         echo  
         "===========================================getting status===========================================" 
        
         /etc/init.d/fdfs_trackerd status 
        
         /etc/init.d/fdfs_storaged status 
        
         echo  
         "=======================================getting network status=======================================" 
        
         sleep 5s 
        
         netstat -tunlap | grep : 
         22122 
        
         netstat -tunlap | grep : 
         8000

基于token的防盗链实现。

fastdfs内置使用token的方式实现防盗链，token是带有时效性的，token中包含了文件id、时间戳ts和token。在fastdfs中使用url带上ts和token的方式请求资源。在fastdfs中提供了生成token的算法，扩展模块会对token进行验证。由于token的生成和校验都在服务器端，因此不会存在安全性问题。链接示例:

http://192.168.1.15:8080/group1/m01/01/01/wkgbd01c15nvku1caabaoecdfs466570.c?token=b32cd06a53dea4376e43d71cc882f9cb&ts=1297930137 。

在 /etc/fdfs/http.conf 中修改:

 
    ? 
   
         # 开启token校验 
        
         http.anti_steal.check_token= 
         true 
        
         # token的声明周期为 
         240 
         秒 
        
         http.anti_steal.token_ttl= 
         240 
        
         # 加密字符串，可以使用 openssl rand -base64  
         64 
         生成 
        
         http.anti_steal.secret_key=2scpwmpctxhblvoyb0jyuyqzytoofmfcbiye65n56ppyvwrntxzlidbpdvddljm8qhhkxsgwtcr+9vdg3yptkw 
        
         # token校验失败的时候返回的图片  
        
         http.anti_steal.token_check_fail=/data/fdfs/error.svg

使用java客户端验证:

将客户端安装到本地仓库:

 
    ? 
   
         git clone https: 
         //github.com/happyfish100/fastdfs-client-java.git 
        
         cd fastdfs-client-java 
        
         mvn clean install

使用maven创建一个普通的项目，在pom文件中添加依赖:

 
    ? 
   
         <dependencies> 
        
         <dependency> 
        
         <groupid>org.csource</groupid> 
        
         <artifactid>fastdfs-client-java</artifactid> 
        
         <version> 
         1.27 
         -snapshot</version> 
        
         </dependency> 
        
         </dependencies>

在resources目录下创建fastdfs配置文件 fastdfs-client.properties

 
    ? 
   
         fastdfs.connect_timeout_in_seconds =  
         5 
        
         fastdfs.network_timeout_in_seconds =  
         30 
        
         fastdfs.charset = utf- 
         8 
        
         fastdfs.http_anti_steal_token =  
         true 
        
         fastdfs.http_secret_key = 2scpwmpctxhblvoyb0jyuyqzytoofmfcbiye65n56ppyvwrntxzlidbpdvddljm8qhhkxsgwtcr+9vdg3yptkw 
        
         fastdfs.http_tracker_http_port =  
         8080 
        
         fastdfs.tracker_servers =  
         192.168 
         . 
         80.3 
         : 
         22122

创建 com.bluemiaomiao.demo.java 类文件:

 
    ? 
   
         package 
         com.bluemiaomiao; 
        
         import 
         org.csource.common.myexception; 
        
         import 
         org.csource.fastdfs.clientglobal; 
        
         import 
         org.csource.fastdfs.protocommon; 
        
         import 
         java.io.ioexception; 
        
         import 
         java.security.nosuchalgorithmexception; 
        
         import 
         java.util.properties; 
        
         public 
         class 
         demo { 
        
         public 
         static 
         void 
         main(string[] args)  
         throws 
         ioexception, myexception, nosuchalgorithmexception { 
        
         // 加载配置文件 
        
         properties prop =  
         new 
         properties(); 
        
         prop.load(demo. 
         class 
         .getresourceasstream( 
         "/fastdfs-client.properties" 
         )); 
        
         clientglobal.initbyproperties(prop); 
        
         // 显示初始化配置信息 
        
         system.out.println(clientglobal.configinfo()); 
        
         // 使用文件上传工具返回的地址，一般情况下保存在数据库中 
        
         string remotefilename =  
         "group1/m00/00/00/wkhqa1ysjsgapjxbaavfol7fju4.tar.gz" 
         ; 
        
         // 获取当前时间戳 
        
         int 
         ts = ( 
         int 
         )(system.currenttimemillis()/ 
         1000 
         ); 
        
         // 获取token, 传入的文件id不要含有分组信息 
        
         string token = protocommon.gettoken( 
         "m00/00/00/wkhqa1ysjsgapjxbaavfol7fju4.tar.gz" 
         , ts, prop.getproperty( 
         "fastdfs.http_secret_key" 
         )); 
        
         // 使用浏览器访问返回的url 
        
         system.out.println( 
         "http://192.168.80.3:8000/" 
         + remotefilename +  
         "?token=" 
         + token +  
         "&ts=" 
         + ts); 
        
         } 
        
         }

如果访问时显示防盗链图片，可能是测试客户端与服务器之间的之间有一定差距，两个主机之间不能有分钟级别的差距，可以使用如下方法同步服务器:

 
    ? 
   
         # 安装同步时间服务器的客户端, windows系统也需要与该服务器同步 
        
         # 控制面板->时钟和区域->设置日期和时间->internet时间->更改设置 
        
         yum install ntpdate 
        
         ntpdate time7.aliyun.com

整合fastdht实现数据去重。

fastdht是分布式哈希系统（dht），使用berkeleydb做数据存储，使用libevent做网络io处理。依赖于libfastcommon组件.

下载。

去oracle官方网站下载 berkeley db 数据库，去fastdfs的github主页下载fastdht的源码包。由于之前已经安装过linevent和libfastcommon，因此只需要安装数据库和fastdht即可.

安装配置数据库与fastdht 。

 
    ? 
   
         tar -xvf db- 
         6.2 
         . 
         23 
         .tar.gz 
        
         cd db- 
         6.2 
         . 
         23 
         /build_unix/ 
        
         ../dist/configure --prefix=/applications/db- 
         6.2 
         . 
         23 
        
         cd ../../ 
        
         rm -rf db- 
         6.2 
         . 
         23 
        
         unzip fastdht-master.zip 
        
         cd fastdht-master 
        
         vim make.sh

修改第27行代码:

 
    ? 
   
         cflags= 
         '-wall -d_file_offset_bits=64 -d_gnu_source -i /applications/db-6.2.23/include/ -l /applications/db-6.2.23/lib/'

-i ：指定数据库提供的头文件目录。

-l ：指定数据库提供的库文件目录。

 
    ? 
   
         ./make.sh 
        
         ./make.sh install 
        
         cd ../ 
        
         rm -rf fastdht-master

配置。

 
    ? 
   
         mkdir /data/fdht

修改 /etc/fdht/fdht_client.conf 内容:

 
    ? 
   
         base_path=/data/fdht 
        
         #include /etc/fdht/fdht_servers.conf

修改 /etc/fdht/fdht_servers.conf 内容:

修改 /etc/fdht/fdhtd.conf 内容:

 
    ? 
   
         base_path=/data/fdht 
        
         #include /etc/fdht/fdht_servers.conf

修改 /etc/fdfs/storage.conf 内容:

 
    ? 
   
         check_file_duplicate= 
         1 
        
         key_namespace=fastdfs 
        
         keep_alive= 
         1 
        
         #include /etc/fdht/fdht_servers.conf

主要需要包含服务器端配置文件.

 
    ? 
   
 
     
       
       
         ln -s /applications/db- 
         6.2 
         . 
         23 
         /lib/libdb- 
         6.2 
         .so /usr/lib/libdb- 
         6.2 
         .so 
        
 
         ln -s /applications/db- 
         6.2 
         . 
         23 
         /lib/libdb- 
         6.2 
         .so /usr/lib64/libdb- 
         6.2 
         .so 
        
 
     
 
   

启动并测试。

 
    ? 
   
         fdhtd /etc/fdht/fdhtd.conf

重启使用:

 
    ? 
   
         fdhtd /etc/fdht/fdhtd.conf restart

查看结果:

 
    ? 
   
         netstat -tunlap | grep : 
         11411 
        
         tcp     
         0   
         0 
         0.0 
         . 
         0.0 
         : 
         11411      
         0.0 
         . 
         0.0 
         :*        listen    
         20605 
         /fdhtd

由于安装fastdht的时候关闭了fastdfs，因此需要启动fastdfs 。

 
    ? 
   
         ./start-service

修改之前的 start-service 脚本, 在启动tracker和storage服务之前添加:

 
    ? 
   
         fdhtd /etc/fdht/fdhtd.conf

在查看tracker和ngixn网络状态之前添加:

 
    ? 
   
         netstat -tunlap | grep : 
         11411

测试:

 
    ? 
   
 
     
       
       
         fdfs_upload_file /etc/fdfs/client.conf /source/db- 
         6.2 
         . 
         23 
         .tar.gz 
        
 
         group1/m00/ 
         00 
         / 
         00 
         /wkhqa1yu2l6aptk-aqqolabfhaq.tar.gz 
        
 
         fdfs_upload_file /etc/fdfs/client.conf /source/db- 
         6.2 
         . 
         23 
         .tar.gz 
        
 
         group1/m00/ 
         00 
         / 
         00 
         /wkhqa1yu2mkaomiiaqqolhuwxfw.tar.gz 
        
 
         ll /data/fdfs/storage/data/ 
         00 
         / 
         00 
         / 
        
 
         total  
         45268 
        
 
         -rw-r--r--  
         1 
         root root  
         44305964 
         apr  
         11 
         14 
         : 
         03 
         wkhqa1yu2l6am0aiaqqolkfbfuc.tar.gz 
        
 
         lrwxrwxrwx  
         1 
         root root     
         64 
         apr  
         11 
         14 
         : 
         03 
         wkhqa1yu2l6aptk-aqqolabfhaq.tar.gz -> /data/fdfs/storage/data/ 
         00 
         / 
         00 
         /wkhqa1yu2l6am0aiaqqolkfbfuc.tar.gz 
        
 
         lrwxrwxrwx  
         1 
         root root     
         64 
         apr  
         11 
         14 
         : 
         03 
         wkhqa1yu2mkaomiiaqqolhuwxfw.tar.gz -> /data/fdfs/storage/data/ 
         00 
         / 
         00 
         /wkhqa1yu2l6am0aiaqqolkfbfuc.tar.gz 
        
 
     
 
   

自定义 fastdfs-spring-boot-starter 。

为了快速构建springboot项目，我们可以自定义一个场景启动器来解决。详细信息： https://github.com/bluemiaomiao/fastdfs-spring-boot-starter . 。

下面使用springboot构建一个示例项目

添加依赖:

 
    ? 
   
         <dependency> 
        
         <groupid>com.bluemiaomiao</groupid> 
        
         <artifactid>fastdfs-spring-boot-starter</artifactid> 
        
         <version> 
         1.0 
         -snapshot</version> 
        
         </dependency>

在主配置类中添加注解:

 
    ? 
   
         @enablefastdfsclient 
        
         @springbootapplication 
        
         public 
         class 
         demoapplication { 
        
         @autowired 
        
         private 
         fastdfsclientservice fastdfsclientservice; 
        
         public 
         static 
         void 
         main(string[] args) { 
        
         springapplication.run(demoapplication. 
         class 
         , args); 
        
         } 
        
         }

此时将会自动初始化好全局客户端.

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持我.

原文链接：https://blog.51cto.com/xvjunjie/2377669 。

最后此篇关于Java高级架构之FastDFS分布式文件集群详解的文章就讲到这里了,如果你想了解更多关于Java高级架构之FastDFS分布式文件集群详解的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！。

文章推荐： Java字符串拼接的优雅方式实例详解

文章推荐： TP-Link无线路由器映射服务器到外网操作指南

文章推荐：使用logback实现日志打印过滤

文章推荐： TP-Link路由器提示输入PIN码连接是什么意思

postgresql - 集群 PostgreSQL 集群
由于 PostgreSQL 人员选择的术语不当，这会让一些人感到困惑，但请耐心等待... 我们需要能够支持多个 PostgreSQL (PG) 集群，并将它们集群在多个服务器上，例如使用repmgr.
hadoop - 1 个大 Hadoop 和 Hbase 集群 vs 1 个 Hadoop 集群 + 1 个 Hbase 集群
Hadoop会跑很多jobs，从Hbase读取数据，写数据到数据库。假设我有 100 个节点，那么有两种方法可以构建我的 Hadoop/Hbase集群: 100节点hadoop&hbase集群(1个b
kafka 集群
在kafka中，我们能创建多种类型的集群，一般如下：单节点——单个broker集群单节点——多broker集群多结点——多broker集群 kafka集群中主要有五个组件： Topic：主题主要
不同操作系统的 MPI 集群
我想在两台机器上运行我的 MPI 程序，一台是 ubuntu 18.04，另一台是 Windows 10。是否可以使用不同的操作系统组成一个集群？ (我正在使用 MPICH) 如果可能，怎么做？我在网
RabbitMQ 集群 - 更新负载平衡集群中节点的最佳实践？
简介: 更新负载平衡集群中的节点的最佳实践是什么？我们在 ha 代理负载均衡器后面使用 RabbitMQ 集群来支持我们的客户端轻松集群，as suggested in the RabbitMQ d
与其他节点具有相同等级的 graphviz 集群
我正在尝试创建一个图表，我明确指定了许多节点的等级并指定了集群。以下代码生成我想要的图形类型: digraph { rankdir=LR subgraph cluster0 {
具有三个节点的 Rabbitmq 集群
我正在尝试在 RABBITMQ 上进行集群。我添加了 2 个节点，但无法添加第 3 个节点。我已经聚集了 rabbit@node1 和 rabbit@node2。现在我正在尝试将 rabbit@nod
每个应用程序的 Kubernetes 集群？
我在 MS Azure 的生产环境中启用了一个双集群多区域 HA。我被要求重用同一个集群来使用微服务管理几个新项目。这里的最佳做法是什么？我应该为每个应用程序创建一个集群吗？将不同集群中的每个项目
elasticsearch - Elasticsearch 集群
我正在尝试 flex 搜索，并且很难在具有3个 flex 搜索实例的单台计算机上创建集群。我对实例进行了以下更改: 在所有实例上更改了群集名称{cluster.name:es-stack} 在所有实例
具有自定义集群配置的 Redis 集群
我想创建一个redis集群，仅将特定的redis主机作为主服务器和从服务器。另外，我想自己指定哪个主机应该是哪个主机的副本。目前，cluster-create command当在任何一个 Redis
Magento 集群/负载平衡设置
我计划在具有负载平衡的集群中设置 Magento，那么是否可以让两个 Magento 安装指向同一个数据库？如果可能的话 - 我应该如何配置这些服务器的基本 URL？服务器应该具有相同的名称吗？最
PHP/MySql 集群
我目前正在计划一个 Web 应用程序，我想计划它最终在集群上运行。集群将由一个 php web 集群和一个 mysql 集群以及一个独立的存储单元组成(也许是一个集群，我真的不知道它是如何工作的:s
Elasticsearch 集群 'master_not_discovered_exception'
我已经安装了 elasticsearch 2.2.3 并在 2 个节点的集群中配置节点 1 (elasticsearch.yml) cluster.name: my-cluster node.nam
java - 集群/分布式服务有哪些好的中间件解决方案
我正在寻找现有的中间件解决方案，以解决服务集群/分布方面的问题，以实现负载平衡和可用性。我正在考虑基于消息传递系统(更具体地说，JMS)为此构建自己的基础设施。但是，如果可能的话，我宁愿使用已经存在的
Hadoop 集群。数据在集群数据节点之间自动复制
在 Hadoop 集群中，数据是自动跨数据节点复制还是必须编程？如果必须编程，那我该怎么做呢？最佳答案 dfs.replication 的默认值为 3。这存在于您的 hdfs.site.xml 中
负载均衡器上的 Redis 集群
我已经设置了一个具有 1 个主节点和 2 个从节点的 redis 集群，哨兵在所有 3 个节点上运行。在此设置之前，我的应用程序指向运行 Redis 实例的单个节点。集群搭建完成后，我的应用应该指
redis 集群 - 与集群交互是否需要代理或集群支持库？
所以，我正在设计一个具有多个 redis 实例的分布式系统来分解大量的流式写入，但发现很难清楚地了解事情是如何工作的。从我读到的内容来看，正确配置的集群似乎会自动对“错误实例”上的请求进行分片和重定
负载均衡器后面的 Redis 集群？
我有一个关于redis集群架构的问题。我正在设置一个 Redis 集群，并遵循基本建议:3 硕士3个奴隶有什么方法可以在 Amazon LB、HAProxy、Nginx 等负载均衡器后面配置此集群
傻瓜式 Mysql 集群
那么集群背后的想法是什么？您有多台机器具有相同的数据库副本，您在其中传播读/写？这是正确的吗？这个想法如何运作？当我进行选择查询时，集群会分析哪个服务器的读/写较少并将我的查询指向该服务器？当您
Ubuntu安装部署Kubernetes(k8s)集群
目录一.系统环境二.前言三.Kubernetes 3.1 概述 3.2 Kube

qq735679552

个人简介

我是一名优秀的程序员,十分优秀！

作者热门文章

滴滴打车优惠券免费领取

全站热门文章

首页

博学

6Ren·AI

商城

Java高级架构之FastDFS分布式文件集群详解