gpt4 book ai didi

java - 处理慢速消费者 kafka 上的背压并避免重新平衡

转载 作者:行者123 更新时间:2023-12-02 10:28:56 24 4
gpt4 key购买 nike

用例是我的消费者偶尔会执行一些需要很长时间的 I/O 工作。我正在使用 Spring 2.0.1 和 <spring-cloud.version>Elmhurst.RELEASE</spring-cloud.version</spring-cloud.version>

最初的解决方案是设置 max.poll.interval.ms到更高的值和 max.poll.records为比默认值更低的值。这确实减少了重新平衡的次数,但仍然存在 I/O 操作花费的时间超过 max.poll.interval.ms 的情况。而且重新平衡的成本相当高,会产生相当大的滞后。如果没有重新平衡,即使考虑到 I/O 持续时间激增的情况,处理也会及时完成。

我可以使用哪些设置和代码或架构来使系统既能响应(当消费者实际被阻止时重新平衡),又不会在一个消费者花费异常长的时间来处理消息时触发重新平衡?

最佳答案

我知道的唯一解决方案是调整这两个属性(或减少监听器所花费的时间)。

关于java - 处理慢速消费者 kafka 上的背压并避免重新平衡,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/53721189/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com