java kafka 通过唯一键获取分区中的消息偏移量

Question

如果我的所有 kafka 消息都包含唯一键，那么使用唯一键在代理分区内查询消息的偏移量的最快方法是什么？假设我已经知道该消息必须存在于该代理和该分区中。

例如，我可以考虑的一种方法是重新处理分区内的所有消息，并停止直到找到特定的键。但如果您有超过一百万条消息，处理每条消息确实是浪费时间。

也就是说，是否有任何kafka API可以直接在Kafka服务器上进行此检查？

Answer 1

Kafka 的工作方式就像你猜的那样，它按顺序读取消息。您无法直接访问某些记录。但是，为了节省时间，您可以做的是为该主题创建许多分区，然后通过拥有 key ，您知道分区是什么(您必须通过谷歌搜索如何获取分区号)，然后仅从该分区进行消费。因此，假设某个主题中有 1 000 000 条记录，那么如果您创建 100 分区，则只需扫描 10 000 条记录，并且找到你的。