performance - 如何减慢或设置 Kafka 流消费者的给定速度？

Question

我试图控制 KStream 消耗的消息数量，但不太成功。

我正在使用:max.poll.interval.ms=100和max.poll.records=20每秒收到大约 200 条消息。

但似乎不太好，因为我看到我的统计数据中每秒也有大约 500 条消息。

我还应该在流消费者一侧设置什么？

Answer 1

I am using: max.poll.interval.ms=100 and max.poll.records=20 to get like 200 messages per second.

max.poll.interval.ms 和 max.poll.records 属性不能以这种方式工作。

ma​​x.poll.interval.ms 表示消费者在主题的每个消费者轮询之间必须等待的最大时间间隔(以毫秒为单位)。

ma​​x.poll.records表示消费者在每次消费者轮询主题期间可以消费的最大记录数。

每次轮询之间的间隔不受上述两个属性的控制，而是由消费者确认获取的记录所花费的时间控制。

例如，假设存在一个主题 X，其中包含 1000 条记录，消费者确认已获取记录所需的时间为 20 毫秒。当 max.poll.interval.ms = 100 和 max.poll.records = 20 时，消费者将每 20 毫秒轮询一次 Kafka 主题，并且在每次轮询中，最多将获取 20 条记录。如果确认获取的记录所需的时间大于 max.poll.interval.ms，则轮询将被视为失败，并且将从 Kafka 主题再次重新轮询该特定批处理。