Hadoop 管理

Question

我设置了一个 Hadoop 1.2.x 版本，双节点集群。第一节点(NameNode、Jobtracker)和第二节点(Secondary NameNode、Datanode、TaskTracker)。

如何为每个节点分别设置 map 和 reduce 插槽为 4 和 2以及如何从命令行验证相同内容。

Answer 1

要为每个 tasktracker 节点设置插槽，限制一个节点可以同时运行的最大任务数。

将这些属性添加到 mapred-site.xml

<property>
   <name>mapred.tasktracker.map.tasks.maximum</name>
   <value>4</value>
</property>
<property>
   <name>mapred.tasktracker.reduce.tasks.maximum</name>
   <value>2</value>
</property>

您可以使用

检查 jobtracker 使用的配置

hadoop jobtracker -dumpConfiguration