hadoop - 如何增加 hadoop 中 mapreduce 程序中映射器和缩减器的数量？

Question

我有一个包含 3 个节点的集群，我想增加 mapper 和 reducer 的数量，以便每个节点有 5 个 mapper 和 reducer。我使用了下面的代码，但它对我不起作用。有帮助吗？

ma​​pred-site.xml

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>vhost2456:9001</value>
<description>The host and port that the MapReduce job tracker runs
at.</description>
 </property>
 <property>
 <name>mapred.tasktracker.map.tasks.maximum</name>
 <value>15</value>
 </property>
 <property>
 <name>mapred.tasktracker.reduce.tasks.maximum</name>
 <value>15</value>
 </property>
 <property>
 <name>mapred.map.tasks</name>
 <value>5</value>
 </property>
 <property>
 <name>reduce.map.tasks</name>
 <value>5</value>
 </property>
 </configuration>

Answer 1

看起来您在这里混合了配置设置:

这两个定义了每个从节点(运行任务跟踪器)上可用的 map 和 reduce 槽的数量:

<property>
  <name>mapred.tasktracker.map.tasks.maximum</name>
  <value>15</value>
</property>
<property>
  <name>mapred.tasktracker.reduce.tasks.maximum</name>
  <value>15</value>
</property>

mapred.map.tasks 是针对特定作业的(几乎被忽略的)提示，提示要为您的作业安排多少 map 和 reduce 任务。

最终的配置属性格式不正确，我想你的意思是 mapred.reduce.tasks，它控制为特定作业运行的 reducer 的数量。

所以目前看起来您为给定的任务跟踪器配置了 15 个 map 和 15 个 reduce 槽(这些值是针对每个任务跟踪器的，而不是针对整个集群的)- 将这些值修改为 5。您还需要将此配置更改部署到所有 3 个集群节点，最后您需要在所有三个节点上重新启动任务跟踪器(以使更改生效)。您应该能够在 map 和 reduce 槽的数量下看到作业跟踪器 Web UI 中的变化。