apache-kafka - 来自 Kafka consumer_offset 主题的大量消息

Question

我已经使用 Kafka 几个月了，我注意到我在名为 __consumer_offsets 的内部 Kafka 主题下每秒有相当多的消息。现在我们有很多其他主题，就跨代理的消息数量而言，这些主题相当小。在几个主题上我们最多可以看到 ~1k 消息/秒，但我几乎总是从 _consumer_offsets 看到 15-20k 消息/秒。谁能指出一些可以解释这一点的东西，或者提供一些关于为什么 consumer_offsets 主题有这么多消息的见解。

谢谢

Answer 1

这就是 Apache Kafka 的工作原理。参见 http://kafka.apache.org/documentation.html#impl_offsettracking了解更多详情。