hadoop - 多个服务可以使用同一个 Zookeeper 实例吗？

Question

一个 Zookeeper 安装是否足以被 Hadoop Kafka 和 Storm 集群使用？我想将所有部署在一个测试环境中并尝试使用这些技术，我可以为此使用一个 zookeeper 安装吗？同一个 znode 可以专用于多个服务？

Answer 1

是的，您可以使用单个 zookeeper 安装来支持多个集群，甚至是不同类型的集群。很长一段时间以来都是这种情况 - 这里有一个链接，指向 2009 年对此进行的很好的讨论:http://zookeeper-user.578899.n2.nabble.com/Multiple-ZK-clusters-or-a-single-shared-cluster-td3277547.html

对于测试来说这很好(甚至可以在一台 ZK 服务器上运行它)。对于生产用途，您至少需要一个 3 节点集群。您应该仔细考虑在单个集群上运行所有内容。

原因是，如果您在单个 ZK 集群上运行多个 Hadoop、Storm 和 Kafka 集群，那么一组服务器将成为所有分布式系统的单点故障。您可以使用超过 3 个服务器(假设 7 个)来增强 ZK 设置，以便它可以处理多个故障，但如果有人不小心使 ZK 宕机，您的所有分布式环境也会宕机。

有些人认为，系统之间的隔离度越高越好。我认为它因用例而异，但我会小心地将所有鸡蛋放在一个 ZK 篮子中。