apache-kafka - 通过了解消息在 Kafka 中的分区和偏移量来检索消息

Question

我正在开发 Kafka 0.9。我想知道是否有任何方法可以通过了解分区和偏移量从其主题中检索已处理的消息。例如，消费者当前正在消费分区 1 和偏移量 10 的消息。我想在同一分区和偏移量 5 获取消息。

我能想到的一种方法是将偏移量重置为 5 并使用一条消息。但是 poll() 方法只能返回一批消息。所以我必须接受第一条消息而忽略其他消息。处理消息后，偏移量被重置。

我认为这会奏效。但仍然想知道是否有任何其他优雅的方式来做到这一点。

Answer 1

Kafka 的设计目的是在不移动磁头的情况下从磁盘读取长条数据——换句话说，它针对使用线性读取进行了优化。忽略你必须从磁盘读取的整个数据 block (并且可能通过网络服务)似乎效率低下，但实际上让磁盘头跳来跳去的效率要低得多。查看Kafka的设计理念，以及它对磁盘的使用， here .

换句话说，您的方法可能有效。但是您的想法更像是某人使用关系数据库的方式，而不是消息传递系统。