real-time - 添加更多节点时，Storm 如何处理字段分组？

Question

刚刚阅读有关 Storm 的更多详细信息，发现它具有进行字段分组的功能，例如，如果您计算每个用户的推文，并且您有两个任务，其字段分组为用户 ID，则相同的用户 ID 将被发送到相同的任务。

因此任务 1 在内存中可能有以下计数鲍勃:10爱丽丝:5

任务 2 在内存中可能有以下计数吉尔:10乔:4

如果我向集群添加一台新机器以增加容量并运行重新平衡，内存中的计数会发生什么变化？您会开始获得不同数量的用户吗？

Answer 1

使用字段分组，我们可以引导特定字段执行特定任务。

Fields grouping: The stream is partitioned by the fields specified in the grouping. For example, if the stream is grouped by the "user-id" field, tuples with the same "user-id" will always go to the same task, but tuples with different "user-id"'s may go to different tasks.

这些任务在 Storm 的生命周期中始终是静态的，您可以使用重新平衡更改执行程序(线程)的数量。如果向集群添加新节点，您可以重新配置要运行的执行器数量，而无需关闭拓扑，但无论如何任务数量保持不变。只是添加新节点可以让您通过调整storm的并行度来提高性能。