hadoop - 了解 Hadoop 模拟器 Mumak

Question

最近我试图了解 Mumak 的工作原理(参见，例如 MAPREDUCE-728)

它基本上采用作业跟踪和拓扑跟踪并模拟 hadoop。我无法理解它如何跨节点分配拆分。mumak所说的local map task和non-local task是什么意思？

Answer 1

在 MapReduce 中有“局部性”的概念，它表示任务运行与它正在处理的数据有多“远”。最佳位置是在包含所需数据的节点上运行任务。第二好的位置是与包含数据等的节点在同一机架中的节点......

Mumak 可以通过在您的配置文件中使用以下设置来减慢在非本地节点上安排的任务:

<property>
    <name>mumak.scale.racklocal</name>
    <value>1.5</value>
    <description>Scaling factor for task attempt runtime of rack-local over
    node-local</description>
</property>

<property>
    <name>mumak.scale.rackremote</name>
    <value>1.8</value>
    <description>Scaling factor for task attempt runtime of rack-remote over
    node-local</description>
</property>