apache-kafka - 从 Kafka 请求两个时间戳之间的消息

Question

是否可以根据消息被摄取的时间段来消费来自 Kafka 的消息？

示例 :我希望今天将所有消息摄取到 0900-1000 之间的主题(现在是 1200)。

如果只有一种方法可以指定开始时间，那很好 - 一旦到达结束时间，我的消费者就可以停止处理消息。

我可以看到从给定偏移量请求消息的方法，以及获取第一个可用偏移量和最早可用偏移量的方法，但不是给定时间后的所有消息。

Answer 1

您可以使用 offsetsForTimes返回时间戳大于或等于给定时间戳的偏移量的方法。
有关官方文档的更多信息，请访问:

https://kafka.apache.org/0101/javadoc/org/apache/kafka/clients/consumer/KafkaConsumer.html#offsetsForTimes(java.util.Map)

获得偏移量后，您可以寻求使用它并从那里开始读取。