hadoop - 需要有关 Storm 的帮助

Question

1) 如果 Nimbus 失败会怎样？我们可以将其他节点转换为 Nimbus 吗？

2) 拓扑的输出存储在哪里？当一个 bolt 发出一个元组时，它存储在哪里？

3) 如果 zookeeper 失败会怎样？

Answer 1

1. Nimbus 本身是一个容错进程，这意味着它不会将其状态存储在内存中，而是存储在外部数据库 (Zookeeper) 中。因此，如果 Nimbus 崩溃(不太可能发生的情况)，在下一次启动时，它将在停止的地方继续处理。 Nimbus 通常必须设置为由外部监控系统监控，例如 Monit，它将定期检查 Nimbus 进程状态并在出现任何问题时重新启动它。我建议你阅读 Storm project's wiki了解更多信息。

   Nimbus 是 Storm 集群的主节点，不可能有多个 Nimbus 节点。 (更新:Storm 社区现在(截至 5/2014)积极致力于通过让多个 Nimbus 相互心跳，以故障转移方式使 Nimbus 守护进程容错)

2. 元组“存储”在元组树中，并在拓扑执行过程中传递到拓扑执行链中的下一个 bolt 。至于物理存储，元组可能存储在内存结构中，并根据需要序列化以分布在集群的节点中。完整的 Storm 集群的状态本身存储在 Zookeeper 中。 Storm 本身不关心拓扑结构或 bolt 输出的持久存储——持久存储处理结果是您的工作。

3. 与 Nimbus 相同，真实的生产 Storm 集群中的 Zookeper 必须配置为具有可靠性，对于 Zookeeper，这意味着在不同的服务器上运行奇数个 Zookeeper 节点。您可以在 Zookeper Administrator's Guide 中找到有关配置 Zookeeper 生产集群的更多信息。 .如果 Zookeeper 失败(尽管在正确配置的 Zookeeper 集群中这种情况极不可能发生)，Storm 集群将无法继续处理，因为所有集群的状态都存储在 Zookeeper 中。