apache-kafka - 如何在不消费的情况下读取来自kafka消费组的消息？

Question

我在多台机器上使用一个共同的消费者组来管理一个 kafka 队列。现在我还需要显示队列的当前内容。我如何只读取组内尚未阅读的那些消息，同时使这些消息再次被组中实际处理这些消息的其他消费者读取。任何帮助将不胜感激。

Answer 1

在 Kafka 中，从主题“读取”消息和“消费”它们的概念是同一回事。在高层次上，唯一使消费者无法使用“消费”消息的是消费者将其读取偏移量设置为超出所讨论消息的值。因此，您可以关闭消费者的自动提交功能，避免在您只想“读取”而不是“消费”的情况下提交偏移量。

获取“所有未读消息”的一个很好的代理是将最新的提交 偏移量与每个分区的高水位标记 偏移量进行比较。这提供了“滞后”的概念，指示给定消费者在其对分区的消费方面落后多远。 fetch_consumer_lag pykafka 中的 CLI 函数是如何执行此操作的一个很好的示例。