hadoop - hadoop节点未用于 map task

Question

我注意到，所有map和所有reduce任务都在单个节点(node1)上运行。我尝试创建一个由单个hdfs块组成的文件，该块驻留在node2上。当运行mapreduce任务(其输入仅包含驻留在node2上的该块)时，该任务仍在node1上运行。我的印象是hadoop优先考虑了包含输入数据的节点上正在运行的任务。我没有在日志文件中报告任何错误。知道这里可能会发生什么吗？

我有一个3节点集群，该集群在按照cloudera cdh4分布式安装指南创建的kvm上运行。

Answer 1

I was under the impression that hadoop prioritizes running tasks on the nodes that contain the input data.

好吧，可能会有异常(exception)情况:

如果保存数据块的节点没有可用的CPU插槽，则它将无法在该特定节点上启动任何映射器。在这种情况下，而不是等待数据块将被移动到附近的节点并在那里进行处理。但是在该框架之前，它将尝试在本地处理该块的副本(如果RF> 1)。

高温超导