apache-kafka - kafka 流调用 poll() 多少次以从 kafka 主题中获取记录

Question

我想更多地了解kafka 流处理器。我想知道 kafka 流处理器从 kafka 获取数据的轮询频率是多少。

据我所知，kafka 流处理器在内部创建了一个 kafka 消费者客户端，它从 kafka 获取数据(并调用 poll())。

那么当第一次调用poll()时，下一次再次调用它从kafka中获取数据是什么时候？它每秒发生很多次吗？我怎么知道 poll() 被调用了多少次(从 kafka 获取数据)。

任何有助于理解这一点的帮助都会有很大帮助。

Answer 1

poll() 被调用的频率没有绝对数字。有多种因素会影响 poll() 的调用频率。作为简化模型，您可以假设调用了 poll()，获取了 N 条记录，并在处理完所有 N 条记录后再次调用。

Kafka Streams 收集指标，告诉您 poll() 被调用的频率，因此您可以轻松监控它:https://docs.confluent.io/current/streams/monitoring.html