go - 如何使用 Kafka Go 客户端的消费者倒带和查看分区中的先前偏移量

Question

我是卡夫卡的新手。目前我正在试验这个 Channel Consumer example来自 Confluent Inc 的 Github 仓库

据我所知，消费者被分成几组。每个组在分区中都有自己的偏移量。假设我在某个特定主题中有 40 条消息，我们称它为 owner_commands。属于狗组的消费者加入并开始消费这 40 条消息。

当我断开并重新连接此消费者时，我注意到消息不再显示。它说我已经到达文件末尾。但是，如果我与另一个属于不同组(比如猫)的消费者一起加入集群，我将再次阅读这 40 条消息。

你知道狗组中的消费者是否有办法使用 Kafka 的 Go API 重新回放和重播这些消息。我查看了 Kafka Golang API 的源代码，但找不到任何指示我可以倒带并查看过去特定消息的信息。

谢谢

Answer 1

您可以使用 CommitOffsets 并只提交回您想要倒回的偏移量。下一次轮询将从该偏移量开始。

CommitOffsets 记录在此处: http://docs.confluent.io/current/clients/confluent-kafka-go/index.html#Consumer.CommitOffsets

在 API 之外，kafka-consumer-groups 命令中还有移动消费者组位置的功能。这是与 Apache Kafka 0.11 一起发布的。