apache-kafka - Kafka : Error from SyncGroup, 请求超时

Question

最近，我们在使用 Java Kafka API 时经常遇到“来自 SyncGroup 的错误:请求超时”。

此问题通常发生在 Kafka 集群中的主题或消费者组很少的情况下。有没有人可以提供有关此错误的一些指示？
作为一种解决方法，如果我更改使用者组名称，则不会看到错误。
经纪人版本:0.9.0
卡夫卡客户端版本:0.9.0.1

Exception in thread "main" org.apache.kafka.common.KafkaException: Unexpected error from SyncGroup: The request timed out.

at org.apache.kafka.clients.consumer.internals.AbstractCoordinator$SyncGroupRequestHandler.handle(AbstractCoordinator.java:444)

at org.apache.kafka.clients.consumer.internals.AbstractCoordinator$SyncGroupRequestHandler.handle(AbstractCoordinator.java:411)

at org.apache.kafka.clients.consumer.internals.AbstractCoordinator$CoordinatorResponseHandler.onSuccess(AbstractCoordinator.java:665)

at org.apache.kafka.clients.consumer.internals.AbstractCoordinator$CoordinatorResponseHandler.onSuccess(AbstractCoordinator.java:644)

at org.apache.kafka.clients.consumer.internals.RequestFuture$1.onSuccess(RequestFuture.java:167)

at org.apache.kafka.clients.consumer.internals.RequestFuture.fireSuccess(RequestFuture.java:133)

at org.apache.kafka.clients.consumer.internals.RequestFuture.complete(RequestFuture.java:107)

at org.apache.kafka.clients.consumer.internals.ConsumerNetworkClient$RequestFutureCompletionHandler.onComplete(ConsumerNetworkClient.java:380)

at org.apache.kafka.clients.NetworkClient.poll(NetworkClient.java:274)

Answer 1

@zer0Id0l

我们最近遇到了同样的问题。发生这种情况是因为某些 Kafka Streams 消息具有比常规消息更多的元信息足迹(当您不使用 Kafka Streams 时)。要解决此问题，请转至 __consumer_offsets 主题设置和设置 最大消息字节数 参数高于默认值。例如，在我们的例子中，我们有 max.message.bytes = 20971520 .这将彻底解决您的问题。