apache-kafka - 清除卡住成员的 Kafka 消费者组

Question

我有一个问题，我的许多来自一个消费者组的 Kafka 客户端没有正确关闭，因此 Kafka 集群认为它们仍然连接。因此，我无法使用我的客户端的新版本连接到消费者组。它将卡在重新平衡步骤中。

根据文档他们 should be removed after session.timeout.ms 或最大 group.max.session.timeout.ms 。一开始我尝试将session.timeout.ms设置为30000毫秒(30秒)，但是在Kafka启动时没有列出。 group.max.session.timeout.ms 在那个时间点被设置为 300000 毫秒(5 分钟)。 30 秒后消费者没有被删除。

之后，我尝试将 group.max.session.timeout.ms 减少到 30000 毫秒(30 秒)并重新启动 Kafka。然而，所有的客户都只是留在消费者组中。

现在，大约 2 小时后，客户端仍然附加到消费者组。

我试图 delete the consumer group 与:

bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 \
    --delete --group GroupName

这给了我:

* Group 'GroupName' could not be deleted due to: NON_EMPTY_GROUP

不幸的是，似乎没有 --force 标志。

接下来，我尝试使用以下命令列出消费者组的所有成员:

bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 \
    --members --group GroupName --describe

这给了我 40-50 个消费者组成员(所有成员都必须处于非事件状态，因为唯一的事件消费者已停止)。

有没有办法让 Kafka 从该组中清除所有消费者或强制它删除整个消费者组？

Answer 1

和

无法删除组“GroupName”，原因是:NON_EMPTY_GROUP

这意味着消费者组仍在积极连接到服务器
在删除消费者组之前，您必须先终止该进程。这对我有用。

ps -ef | grep GroupName | grep -v grep | awk '{print $2}' | xargs kill
bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 \
--delete --group GroupName