hadoop - Hadoop 中 uber 模式的目的是什么？

Question

这里是 Hadoop 的新手。当作业以 super 模式运行时，ApplicationMaster 不会向 ResourceManager 请求容器。相反，在单个节点上运行的 AM 仅在其自己的进程中执行整个作业。这是有利的，因为它减少了必须处理 RM 的开销。

我不明白的是:如果作业小到可以在单个节点上在合理的时间内完成，那么首先提交 MapReduce 作业的意义何在？ MapReduce 通过允许跨多台机器并行执行计算来加速计算。如果我们只打算使用一个节点，为什么不直接编写一个常规程序并在我们的本地机器上运行它呢？

Answer 1

可能有一些原因:

1. 您有一个可重复使用的流程，可以根据需要进行扩展，在这种情况下，它可能会开始使用更多的插槽，而不是在 super 模式下运行。
2. 保持简单。你不太可能写一份工作，通常你会有很多处理不同数量的数据。为什么要改变事物并选择特定的工作来使用不同的方法处理数据。
3. 在 MapReduce 之外运行的程​​序可能会失去框架提供的许多额外优势，例如故障恢复。