go - 阅读来自 kafka 的最新消息 - segmentio/kafka-go

Question

我正在使用 segmentio/kafka-go 客户端从主题中读取消息。我无法找到..如何从上一条/新消息开始阅读。

每次我启动代码时，它都会从该分区的起始偏移量开始读取。

Answer 1

关于使用来自 Kafka 的消息，您需要了解的是每个消费者客户端都是 Consumer Group 的一部分。 . Kafka 将主题分区级别的每个消费者组的已处理偏移量存储在名为 __consumer_offsets 的内部 Kafka 主题中。这使消费者组的消费者能够在重新启动后从中断的地方继续消费。

在您的情况下，这意味着您需要设置消费者组(在 KafkaConsumer API 中是配置“group.id”)并保持不变。只有这样，您才能继续阅读最新/最新的 est 消息，而不是在重新启动后从头开始。