apache-storm - 重新平衡后 Storm 任务状态会转移到新的执行器吗？

Question

这是我阅读后想到的一个问题:
What is the "task" in Storm parallelism

如果我需要在 bolt 的内部状态中保留一些信息，例如，在经典的单词计数用例中，将 bolt 中看到的每个单词的计数保留在 hashmap 中。执行“rebalance”命令后，bolt 的任务很多被转移到另一个执行器，它可能在另一个 JVM 甚至另一台机器中。 Bolt 的内部状态(本例中的字数哈希图)会转移到新环境(实例/JVM/机器)吗？

当然把字数hashmap放在Zookeeper这样的中心位置就不会有这个问题了。但出于性能考虑，有时我们似乎需要将内容保存在内存中。

Answer 1

运行重新平衡后，将发生以下情况

它将首先停用当前拓扑

然后它将在集群内均匀分配工作人员

然后拓扑将返回到其先前的激活状态

这是一个 comment内森·马兹 (Nathan Marz) 这应该有助于消除您的疑虑。

Rebalance is equivalent to those workers being killed and being created from scratch on another machine. If you want "state" to be maintained, I suggest you use something like Trident and keep your state synced on a DFS