Hadoop gen1 与 Hadoop gen2

Question

我对 tasktracker 在 Hadoop-2.x 中的位置有点困惑。

Hadoop-1.x 中的守护进程是namenode、datanode、jobtracker、tasracker 和secondarynamenode

Hadoop-2.x 中的守护进程是namenode、datanode、resourcemanager、applicationmaster、secondarynamenode。

这意味着 Jobtracker 已拆分为:resourcemanager 和 applicationmaster

那么 tasktracker 在哪里？

Answer 1

在 YARN(Hadoop 2 中的新执行框架)中，MapReduce 不再像以前那样存在。

YARN 是一种更通用的集群资源分配方式。 ResourceManager、ApplicationMaster 和 NodeManager 现在包含新的 YARN 执行框架。 NodeManager 是每个节点上的守护进程，所以我猜你可以说它取代了 TaskTracker。但现在它只是给出流程，而不仅仅是映射任务和 reduce task 。

MapReduce 仍然存在，但它现在是 YARN 的“应用程序”。

这里是对 YARN 的介绍，它会深入得多:http://hortonworks.com/blog/introducing-apache-hadoop-yarn/