hadoop - 非 mapreduce 应用程序如何在 YARN 中工作？

Question

通过使用 YARN，我们可以运行非 mapreduce 应用。

但是它是如何工作的呢？

在 HDFS 中，所有内容都存储在 block 中。对于每个 block ，将创建一个映射器任务来处理整个数据集。

但是非 mapreduce 应用程序，它如何在不使用 mapreduce 的情况下处理不同数据节点中的数据集？

请解释一下。

Answer 1

不要将 Map reduce 范例与其他应用程序(例如 Spark)混淆。 Spark 可以在 Yarn 下运行，但不使用映射器或缩减器。

相反，它使用执行器，这些执行器知道数据局部性，就像 mapreduce 一样。

spark Driver 将在数据节点上启动执行程序，并在执行此操作时尽量记住数据位置。

也不要将 Map Reduce 默认行为与标准行为混淆。您不需要每个输入拆分有 1 个映射器。

此外，HDFS 和 Map Reduce 是两个不同的事物。 HDFS 只是存储层，而 Map Reduce 负责处理。