apache-kafka - 将协调员标记为组死亡(Kafka)

Question

我的一项服务在几个小时前停止工作。我已经重新启动了服务器，但是这个消费者进程没有向 Kafka 注册。这是消费者启动时显示的内容:

2017-04-21 10:22:54.887  INFO 18036 --- [afka-consumer-1] o.a.k.c.c.internals.ConsumerCoordinator  : Revoking previously assigned partitions [] for group mysql-conversions-group
2017-04-21 10:22:54.890  INFO 18036 --- [afka-consumer-1] o.s.k.l.KafkaMessageListenerContainer    : partitions revoked:[]
2017-04-21 10:22:54.890  INFO 18036 --- [afka-consumer-1] o.a.k.c.c.internals.AbstractCoordinator  : (Re-)joining group mysql-conversions-group
2017-04-21 10:22:54.915  INFO 18036 --- [afka-consumer-1] o.a.k.c.c.internals.AbstractCoordinator  : Marking the coordinator li819-138.members.linode.com:9092 (id: 2147483646 rack: null) dead for group mysql-conversions-group

我有 4 个不同的消费者组，它们运行良好。有什么想法吗？

更新

真的很奇怪。我们不得不重启我们的另一个消费者，重启后，另一个在一秒钟前工作正常的消费者现在记录了同样的错误。基本上，我们现在有 2 个消费者进程由于某种原因无法连接到 Kafka。

Answer 1

回答我自己的问题:

终于搞定了。这不是经纪人问题或消费者问题。发生的事情是，我们在晚上 8:30 左右在我们的两个 Kafka 代理上启用了防火墙。已经与 Kafka 连接的消费者工作正常。但是，当其中一个消费者重新启动时，它们无法连接到协调器节点。我们在两个 Kafka 代理上都禁用了防火墙，数据立即转发给消费者。这是一个临时修复的 ATM，但至少我们有一些东西。