apache-kafka - 无法从客户端 session ID 读取其他数据

Question

我们的 hadoop 集群有 3 台 kafka 机器和 3 台 zookeeper 服务器

hadoop 版本 - 2.6.4 (HORTONWORKS)

在 zookeeper 日志下 (/var/log/zookper )

我们看到了一百万条 WARN 消息，例如:

2019-06-26 10:48:45,675 [myid:1] - WARN  [NIOServerCxn.Factory 0.000.0.0/0.0.0.0:2181:NIOServerCnxn@357] - caught end of stream exception
EndOfStreamException: Unable to read additional data from client sessionid 0x16b8e15a80ca681, likely client has closed socket
               at org.apache.zookeeper.server.NIOServerCnxn.doIO(NIOServerCnxn.java:230)
               at org.apache.zookeeper.server.NIOServerCnxnFactory.run(NIOServerCnxnFactory.java:208)
               at java.lang.Thread.run(Thread.java:745)

这些消息的含义是什么:

    caught end of stream exception EndOfStreamException
    Unable to read additional data from client sessionid 

真正的问题是关于卡夫卡机器。我们面临领导者不平衡的问题，Kafka主题分区最终得到领导者-1

Answer 1

尝试让客户端重试。它解决了我的问题。我以某种方式将重试设置为零。

例如:hbase.client.retries.number