docker - Kafka 消费者组偏移量下降到 -1

Question

我们在 Kubernetes 中运行一个基于 gcr.io/google_containers/kubernetes-kafka:1.0-10.2.1 docker 镜像的 Kafka 集群，使用 gcr.io/google_containers 作为 zookeeper 后端/kubernetes-zookeeper:1.0-3.4.10 包含 kafka 和 zookeeper 的三个实例。

我们有几个不同的消费者群体，他们消费和生产关于三个不同主题的数据。

行为:有时，消费者组会将他们在分区上的主题的偏移量设置为 -1，然后从那时起就停止消费该主题。如果我们重新启动我们的消费者，我们可能会看到他们将他们的偏移量设置为最新的偏移量，这可能意味着消费者在它变为 -1 和重新启动之间的时间内错过了消息。

我很难找到为什么消费者组会把它的偏移量设置为 -1 以及为什么它会在正常运行几天后“随机”这样做。 Kafka为什么要为某个消费者设置这个偏移量，有什么合乎逻辑的解释吗？在我们的实际消费者中看不到任何表明他们明确正在这样做的东西。

我们目前有消费者同时在 golang 和 Node.js 中运行，所有这些都面临这个问题，所以我们目前的假设是这个问题没有与我们的消费者有关，而是与我们的 Kafka 设置有关。

Answer 1

默认的偏移量保留策略 offsets.retention.minutes 曾经是 1 天，在旧的 Kafka 版本中，即使对于活跃的消费者，偏移量也会被清除。用 KIP-211 修复

我们最初是在 Kafka 0.10.2.1 中发现这个问题的，一些选定的主题丢失了消费者组偏移量(即变为 -1)，因为几天没有消息到达该主题并且偏移量保留策略开始生效并且消除了活跃消费者的补偿。

我们能够通过将保留设置增加到 7 天来解决这个问题，这似乎也是 Kafka 最终所做的，请参阅 KIP-186