apache-kafka - Confluent.Kafka.KafkaException : Broker: Specified group generation id is not valid

Question

环境

3 节点 Kafka 集群

亚马逊 MSK

v2.3

1 主题

6个分区

1 个消费者组，2 个消费者

在 Kubernetes 中运行

汇合 .NET SDK 1.2.2

除了 bootstrap.servers和 group.id ，所有默认设置。

问题
首先，我的一个消费者遇到以下异常。

Confluent.Kafka.KafkaException: Broker: Specified group generation id is not valid
   at Confluent.Kafka.Impl.SafeKafkaHandle.Commit(IEnumerable`1 offsets)
   at Confluent.Kafka.Consumer`2.Commit(IEnumerable`1 offsets)

异常被捕获，消费者应该重试，但应用程序却处于空闲状态。容器仍在运行，但不再消耗任何消息。
更奇怪的是，代理从不重新分配消费者的分区，因此消费者在这些分区上的滞后开始增长。消费者似乎既活着(因为代理没有重新分配其分区)又死了(因为它无法提交其偏移量或消耗更多消息)。如果我们干预并手动重启消费者，那么分区将被重新分配，情况会恢复正常。
我不完全确定如何处理上述异常。谷歌提供的不多。我拥有的最相关的线索是 this issue in GitHub ，这涉及代理重新启动。据我所知，这不会发生在我的情况下。任何帮助将不胜感激。

Answer 1

至少我已经为我找到了解决方案。
在我的代码中，我做了一个 手动提交 并设置 EnableAutoCommit = false .
不知何故，对于一个偏移量，一次提交可能会被执行两次。我删除了消费者的手动提交并设置了 EnableAutoCommit = true .
在那之后它起作用了。