gpt4 book ai didi

java - Storm 中的延迟队列/消息处理

转载 作者:搜寻专家 更新时间:2023-10-31 19:47:06 25 4
gpt4 key购买 nike

在我的Storm拓扑,在处理流时,我想将某些消息的处理延迟到 future 的某个时间点。这样做有哪些合理的选择?

到目前为止,我想到了以下几点:

  • 使用 Java 的 Thread.sleep。 (但是,根据一些讨论,这不是有效利用 Storm 资源的推荐方法。)
  • 使用延迟队列...
  • Storm 是否有一些用于延迟我忽略的消息的 API?
  • ZeroMQ 是否提供 Storm(如果修改)可以利用的延迟消息传递 API?

最佳答案

我们正在使用拓扑记号元组来批量处理挂起的元组。它基本上只是将它们存储在每个普通元组的内存中,当它收到一个滴答元组时,它使用批量/流水线处理将它们处理到存储/索引中。

如果卷峰值检测到所有元组都重定向到每个主机上的本地 Redis 存储,然后在卷停止后被推回拓扑处理,我们也会在卷出现巨大峰值的情况下使用 Redis。我们的情况可能不适用于你的,只是我的2c。

关于java - Storm 中的延迟队列/消息处理,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/16594171/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com