apache-kafka - Zookeeper 何时更改 Kafka 集群 ID？

Question

有时我在尝试运行 Kafka 代理时会强制执行以下错误:

ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)
kafka.common.InconsistentClusterIdException: The Cluster ID m1Ze6AjGRwqarkcxJscgyQ doesn't match stored clusterId Some(1TGYcbFuRXa4Lqojs4B9Hw) in meta.properties. The broker is trying to join the wrong cluster. Configured zookeeper.connect may be wrong.
        at kafka.server.KafkaServer.startup(KafkaServer.scala:220)
        at kafka.server.KafkaServerStartable.startup(KafkaServerStartable.scala:44)
        at kafka.Kafka$.main(Kafka.scala:84)
        at kafka.Kafka.main(Kafka.scala)
[2020-01-04 15:58:43,303] INFO shutting down (kafka.server.KafkaServer)

我知道错误消息的含义，可以通过删除 Kafka 日志中的 meta.properties 来解决
目录
我现在想知道什么时候会发生这种情况，以防止这种情况发生。为什么/有时 Zookeeper 查找的集群 ID 会发生变化？

Answer 1

Kafka 需要 Zookeeper 启动。当您使用开箱即用的设置运行 zk 时，它包含设置为 tmp 目录的数据/日志目录。
当您的实例/机器重新启动时，tmp 目录被刷新，zookeeper 失去其身份并创建一个新的身份。 Kafka 无法连接到新的 zk，因为 meta.properties文件包含对以前 的引用cluster_id
为避免这种情况，请配置您的 $KAFKA_HOME/config/zookeeper.properties改 dataDir到 Zookeeper 关闭/重新启动后将保留的目录。
这将避免 zk 在每次机器重新启动时丢失其 cluster_id。