streaming - Storm动态拓扑

Question

Storm支持动态拓扑吗？我想要的功能是在 Storm 拓扑运行时根据用户要求动态更改拓扑。例如，当用户想知道流的前 10 个单词时，我使用前 10 个 Bolt 来处理它，当用户想知道其他内容时，我使用另一个 Bolt 来处理流并“拔掉”流前 10 个 bolt 。

我知道这可以通过分区流或复制流并始终运行每个功能并仅演示我们想要的数据来完成，或者我们可以关闭流并更新另一个拓扑，但是是否有“热插拔”有办法做到这一点吗？

Answer 1

您无法动态更改 Storm 拓扑的结构，即修改喷嘴和 bolt 接线。 Storm 拓扑的接线始终是静态的。

但是，您可以通过已经描述的其他方式实现所需的功能。恕我直言，最好、最合乎逻辑的方法是运行多个拓扑——以防数据处理差异很大。但如果两种情况下的大部分处理相似，只需复制源流并在同一拓扑的不同分支中处理数据即可。