apache-kafka - 单独安装Zookeeper还是不使用kafka 10.2？

Question

我想使用Kafka 10.2随附的嵌入式Zookeeper 3.4.9，而不要单独安装Zookeeper。每个Kafka经纪人在本地主机上将始终具有1:1 Zookeeper。

因此，如果我在主机A，b，C，D和E上有5个代理，每个代理上都运行着一个Kafka和Zookeeper实例，那么仅运行Kafka随附的Zookeeper是否足够？

与独立版本相比，嵌入式3.4.9 Zookeper有什么不利之处或配置限制？

Answer 1

这是一些不让Zookeeper与Kafka经纪人在同一台机器上运行的原因。

它们的缩放比例不同

5 zk和5 Kafka有效，但6:6或11:11无效。即使对于相当大的Kafka集群，也不需要超过5个zookeeper节点。与Kafka不同，Zookeeper会将数据复制到所有节点，因此当您添加更多节点时，它会变慢。

他们争夺磁盘I/O

Zookeeper对磁盘I/O延迟非常敏感。您需要将其与Kafka提交日志放在单独的物理磁盘上，否则冒着风险，即大量发布到Kafka会使Zookeeper变慢，并导致其退出集合体，从而导致潜在的问题。

他们争夺页面缓存

Kafka使用Linux OS页面缓存来减少磁盘I/O。当其他应用程序在与Kafka相同的盒子上运行时，您会使用从Kafka缓存中获取的其他数据来减少或“污染”页面缓存。

服务器故障导致更多基础架构

如果重新启动包装盒，则您将同时失去动物园管理员和经纪人。