java - 卡夫卡消费者滞后随机变化？

Question

所以我有一个版本0.9.0.1的kafka消费者，我经常运行以下命令来检查它:

kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper <my-zookeeper> --group my-group

最近我注意到我的滞后随机变化，我不知道为什么，例如，如果我运行命令两次，我会得到:

Group   Topic    Pid Offset     LogSize    Lag   Owner
<group> <topic>  0   148802905  148865604  62699 <my-consumer>
...

但是在第二次运行时，我立即得到:

Group   Topic    Pid Offset     LogSize    Lag   Owner
<group> <topic>  0   148865241  148865715  474   <my-consumer>
...

我对另一个消费者组也有类似的问题，但不是随机改变数字的滞后，而是在数字和文本未知之间切换

我应该看哪里？似乎是卡夫卡的问题，但也可能是消费者的问题，欢迎任何想法。提前致谢

Answer 1

如果 Offset+lag = logSize 那么就可以了。滞后可能会根据您的消费者的消费率和反馈率而增加或减少。您应该检查消费者中间为什么变慢。通常发生在消费者执行某些操作然后回复消息时。我们将 kafka 与 Storm 结合使用，当某些下游(例如持久性)需要时间时，我们会面临类似的问题。