gpt4 book ai didi

apache-kafka - Kafka Streams 处理器需要很长时间来使用更新日志主题和初始化状态存储

转载 作者:行者123 更新时间:2023-12-05 07:37:15 25 4
gpt4 key购买 nike

我正在开发一个流处理器,它具有 KStream-KStream 和 KStream-KTable 连接,并且还使用状态存储在进行连接时删除重复项。

我们一直在对该处理器执行负载测试,主题中的消息不断增长,这导致流处理器需要很长时间(约 1 小时)来使用更新日志主题并在重启时初始化状态存储/重新部署发生。

我们对主题保留 7 天。

最佳答案

发生这种情况的原因有多种:

  1. 您的经纪人表现,即您的 KStream 应用可以从每个经纪人那里提取多少数据
  2. 您的 KStream 表现
  3. 你的序列化格式(如果你使用 Avro,数据量会小很多)

避免昂贵的重启的解决方案是拥有一个持久的本地状态存储。例如,您可以将默认状态存储文件夹 (/tmp/kafka-streams) 映射到某种持久卷

关于apache-kafka - Kafka Streams 处理器需要很长时间来使用更新日志主题和初始化状态存储,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/48739890/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com