spring - 当所有消费者都被删除时，Kafka 消费者组会发生什么

Question

我有一个带有自动缩放器的服务，每个实例都需要在一个单独的消费者组中，我通过创建一个随机的消费者组名称来实现它 group-id: my-service-${random.uuid} .我想知道如果所有消费者都消失了，消费者群体会发生什么。我在 Confluent 平台注意到我有很多没有任何消费者的消费者群体。
没有任何消费者的消费者群体可以存在多久？
如何配置消费者组在删除服务后例如 5 分钟后被删除(我希望该组被删除，而不仅仅是删除了偏移量)？

Answer 1

在 Kafka 中，您有配置 offsets.retention.minutes在经纪人层面:

offsets.retention.minutes: After a consumer group loses all its consumers (i.e. becomes empty) its offsets will be kept for this retention period before getting discarded. For standalone consumers (using manual assignment), offsets will be expired after the time of last commit plus this retention period."

此配置默认为 7 天。查看 Broker Configurations 中的所有详细信息概述。
AdminClient 中还有一个 API，允许您删除特定的 ConsumerGroup。我在另一个 answer 中用一些代码解释了这个过程。 .
从 Confluent 6.x 开始，您还可以使用 confluent 控制中心(使用 REST API)轻松删除过时的 ConsumerGroup。