个人中心
文章发布
退出
作者热门文章
- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
24
4
CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章Zookeeper 单机环境和集群环境搭建由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.
1、单机环境搭建# 。
1.1 下载# 。
下载对应版本 Zookeeper，这里我下载的版本 3.4.14。官方下载地址：https://archive.apache.org/dist/zookeeper/ 。
|
1
|
# wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz
|
1.2 解压# 。
|
1
|
# tar -zxvf zookeeper-3.4.14.tar.gz
|
1.3 配置环境变量# 。
|
1
|
# vim /etc/profile
|
添加环境变量:
|
1
2
|
export
ZOOKEEPER_HOME=
/usr/app/zookeeper-3
.4.14
export
PATH=$ZOOKEEPER_HOME
/bin
:$PATH
|
使得配置的环境变量生效:
|
1
|
# source /etc/profile
|
1.4 修改配置# 。
进入安装目录的 conf/ 目录下，拷贝配置样本并进行修改:
|
1
|
# cp zoo_sample.cfg zoo.cfg
|
指定数据存储目录和日志文件目录（目录不用预先创建，程序会自动创建），修改后完整配置如下:
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
|
# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# example sakes.
dataDir=
/usr/local/zookeeper/data
dataLogDir=
/usr/local/zookeeper/log
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1
|
配置参数说明:
•tickTime：用于计算的基础时间单元。比如 session 超时：N*tickTime； •initLimit：用于集群，允许从节点连接并同步到 master 节点的初始化连接时间，以 tickTime 的倍数来表示； •syncLimit：用于集群， master 主节点与从节点之间发送消息，请求和应答时间长度（心跳机制）； •dataDir：数据存储位置； •dataLogDir：日志目录； •clientPort：用于客户端连接的端口，默认 2181 。
1.5 启动# 。
由于已经配置过环境变量，直接使用下面命令启动即可:
|
1
|
zkServer.sh start
|
1.6 验证# 。
使用 JPS 验证进程是否已经启动，出现 QuorumPeerMain 则代表启动成功.
|
1
2
|
[root@hadoop001 bin]
# jps
3814 QuorumPeerMain
|
2、集群环境搭建# 。
为保证集群高可用，Zookeeper 集群的节点数最好是奇数，最少有三个节点，所以这里演示搭建一个三个节点的集群。这里我使用三台主机进行搭建，主机名分别为 hadoop001，hadoop002，hadoop003.
2.1 修改配置# 。
解压一份 zookeeper 安装包，修改其配置文件 zoo.cfg，内容如下。之后使用 scp 命令将安装包分发到三台服务器上:
|
1
2
3
4
5
6
7
8
9
10
11
|
tickTime=2000
initLimit=10
syncLimit=5
dataDir=
/usr/local/zookeeper-cluster/data/
dataLogDir=
/usr/local/zookeeper-cluster/log/
clientPort=2181
# server.1 这个1是服务器的标识，可以是任意有效数字，标识这是第几个服务器节点，这个标识要写到dataDir目录下面myid文件里
# 指名集群间通讯端口和选举端口
server.1=hadoop001:2287:3387
server.2=hadoop002:2287:3387
server.3=hadoop003:2287:3387
|
2.2 标识节点# 。
分别在三台主机的 dataDir 目录下新建 myid 文件,并写入对应的节点标识。Zookeeper 集群通过 myid 文件识别集群节点，并通过上文配置的节点通信端口和选举端口来进行节点通信，选举出 Leader 节点.
创建存储目录:
|
1
2
|
# 三台主机均执行该命令
mkdir
-vp
/usr/local/zookeeper-cluster/data/
|
创建并写入节点标识到 myid 文件:
|
1
2
3
4
5
6
|
# hadoop001主机
echo
"1"
>
/usr/local/zookeeper-cluster/data/myid
# hadoop002主机
echo
"2"
>
/usr/local/zookeeper-cluster/data/myid
# hadoop003主机
echo
"3"
>
/usr/local/zookeeper-cluster/data/myid
|
2.3 启动集群# 。
分别在三台主机上，执行如下命令启动服务:
|
1
|
/usr/app/zookeeper-cluster/zookeeper/bin/zkServer
.sh start
|
2.4 集群验证# 。
启动后使用 zkServer.sh status 查看集群各个节点状态。如图所示：三个节点进程均启动成功，并且 hadoop002 为 leader 节点，hadoop001 和 hadoop003 为 follower 节点.
更多大数据系列文章可以参见 GitHub 开源项目：大数据入门指南 。
总结 。
以上所述是小编给大家介绍的Zookeeper 单机环境和集群环境搭建,希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对我网站的支持！ 如果你觉得本文对你有帮助，欢迎转载，烦请注明出处，谢谢！ 。
原文链接：https://www.cnblogs.com/heibaiying/p/11364554.html 。
最后此篇关于Zookeeper 单机环境和集群环境搭建的文章就讲到这里了,如果你想了解更多关于Zookeeper 单机环境和集群环境搭建的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。
24
4
0
我最近安装了一个带有 Exhibitor 的新 ZK 节点，它开始正常。当我执行 telnet localhost 2181 然后运行 stats 以查看版本时，即使我安装了 3.4.11，我仍然
每 the zookeeper docs , 可以创建一种以“ super ”用户身份访问 Zookeeper 集合的方法。这样做的方向在配置和连接方法方面都有些模糊。它确实巧妙地表明这只能通过 Ja
场景如下: Znode 创建:create/config 12345(例如创建于12/12/12) 更新此配置，设置/config 34567(例如在 2013 年 12 月 12 日修改) 一个月后
使用Zookeeper API，是否可以知道当前服务器是否是Zookeeper集群的leader？ 文档提到领导者看到了所有追随者中最高的zxid。。是否有可能以某种方式检查？ 最佳答案 您可以从不同
我正在学习 ZooKeeper 并研究备份存储在 ZooKeeper 中的数据的选项。 ZooKeeper 写入两个数据文件，快照和事务日志。人们经常提到快照是“模糊的”，需要重放事务日志以获取最新状
用例:一个池中有 100 个服务器；我想在每个服务器上启动一个 ZooKeeper 服务，服务器应用程序(ZooKeeper 客户端)将使用 ZooKeeper 集群(读/写)。那么就没有单点故障。
我正在运行 3 节点 zookeeper 集群来处理 Storm 和 kafka.Zookeeper 数据目录占用了我系统中的所有空间。我不知道如何清理它。因为，我不想完全删除数据，因为我会丢失进程的
我是 Zookeeper 的新手，试图了解它是否适合我的用例。 我有 1000 万个分层数据，我想将它们存储在 Zookeeper 中。 10M 键值对，键值对大小分别为 1KB。 因此，在没有复
在 here 有人说: "even if you read from a different follower every time, you'll never see version 3 of th
Zookeeper 临时节点是否写入磁盘？ 我知道在 Zookeeper 确认写入客户端之前，正常的 Zookeeper 节点已写入磁盘。 但是，临时节点仅在客户端 session 期间持续，因此如果
在开发阶段使用zookeeper大约6个月后，虽然运行良好，但其数据目录的大小增长到 6 GIG !而且还在增加。下面列出了一些系统规范: zookeeper version: 3.4.6 numbe
我试图了解 Apache ZooKeeper 在裂脑情况下的内部工作原理。假设有一个由 5 个服务器组成的集群:A、B、C、D 和 E，其中 A 是领导者。现在假设子簇 {A, B} 与子簇 {C,
动物园管理员专家。 我问的问题对你来说可能很基础，但我是 ZK 的新手，我还没有掌握该工具，所以请原谅。考虑到这一点，这是我的问题。 假设我有一个由 5 个服务器组成的 ZK 集群，我有 3 个法定人
我正在尝试了解 Zookeeper 中的分层仲裁。文档 here 举了一个例子，但我仍然不确定我是否理解它。我的问题是，如果我有一个双节点 Zookeeper 集群(我知道不推荐这样做，但为了这个例子
我们使用的是2.3.0版本的curator-framework连接pom文件中的zookeeper。 org.apache.curator curator-fram
我们在开发机器上有一个独立的 zookeeper 设置。除了这台 testdev 机器之外，它适用于所有其他开发机器。 尝试通过 testdev 连接到 zookeeper 时，我们一遍又一遍地收到此
zookeeper 事务日志变得非常大(数千兆字节!)并且集群的每台机器中始终存在一个或最多两个事务日志文件，因为知道可能存在多个快照! .. 引入 autopurge.purgeInterval 和
本文整理了Java中org.apache.flink.shaded.zookeeper.org.apache.zookeeper.ZooKeeper.getSessionId()方法的一些代码示例，展
我需要一些帮助来使用 zookeeper-shell.sh 验证 znode(path) 是否存在于 zookeeper 中 示例:bin/zookeeper-shell.sh zk:9091 ls/
我需要使用 tcpdump 调试我的 kafka 消费者和 zookeeper 之间交换的数据。我浏览了 zookeeper 文档，但找不到任何关于 zookeeper 通信协议(protocol)的
我是一名优秀的程序员,十分优秀！