hadoop - hadoop 和 yarn 可以使用相同的代码吗

Question

我一直在思考这个问题。我一直在尝试通过运行基本字数统计示例来比较 hadoop 1 与 yarn 的性能。我仍然不确定如何使用同一个 .jar 文件在两个框架上执行。据我了解，yarn 有一组不同的 api，用于设置与资源管理器的连接、创建应用程序主机等。 因此，如果我开发一个应用程序(.jar)，它是否可以在两个框架上运行而无需更改代码？ 另外，对于特定应用程序，哪些参数可能是区分 hadoop 与 yarn 的有意义的参数？

Answer 1

好的，让我们在这里澄清一些术语。

Hadoop 是一个伞状系统，包含分布式存储和处理所需的各种组件。当您说 hadoop 1 时，我相信您正在寻找的术语是 MapReduce v1 (MRv1)

MRv1 是 Hadoop 的一个组件，包括作业跟踪器和任务跟踪器。它只依赖于 HDFS。

YARN 是 Hadoop 的一个组件，它抽象出 MRv1 的资源管理部分。

MRv2 是经过重写以在 YARN 之上运行的 mapreduce 应用程序。

因此，当您问 hadoop 1 是否可以与 YARN 互换时，您实际上可能是在问 MRv1 是否可以与 <强>MRv2 。答案通常是肯定的。 Hadoop 系统知道如何在两个 mapreduce 平台上运行相同的 mapreduce 应用程序。