gpt4 book ai didi

java - 如何使用 JAVA API 从 Kafka 获取每个主题的消息数

转载 作者:行者123 更新时间:2023-12-01 21:23:11 25 4
gpt4 key购买 nike

我想知道如何通过java api获取kafka中每个主题的消息数,我不知道要使用下一篇文章中提到的命令行工具。知道如何做到这一点吗?

PS:我不想循环遍历 KAFKA 消费者流来计算计数,我试图在开始时计算这个计数(在从 Kafka 消费之前)

Java, How to get number of messages in a topic in apache kafka

最佳答案

使用新的KafkaConsumer,您可以使用seekToBeginning(...)seekToEnd(...)并计算最大的差异以及每个分区的最小偏移量并将这些数字相加。

如果你寻找,你就不会消费消息。请记住,该查找是惰性的,即您需要使用 position(...) 来实际触发查找。由于懒惰,两种查找方法都不会返回任何内容。但是,position(...) 将给出可用于计算的偏移量。

参见http://kafka.apache.org/0100/javadoc/index.html?org/apache/kafka/clients/consumer/KafkaConsumer.html

关于java - 如何使用 JAVA API 从 Kafka 获取每个主题的消息数,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/38799579/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com