java - 如何将 Hadoop MapReduce 作业限制在一定数量的节点上？

Question

所以，基本上我有一个包含 4 个数据节点的系统。但是，为了检查我的 hadoop 应用程序的可伸缩性，我想用 1、2 和 4 个节点对其进行测试。那么，如何将 hadoop 使用的节点数限制为 1 或 2 个。我使用的是 hadoop 2.5.1，我没有系统的管理员权限。此外，如何控制 hadoop 用于节点的内核数？

Answer 1

您需要管理员权限才能执行所有操作

如何将 hadoop 使用的节点数限制为 1 或 2 个。

Decommission 2-3个节点

如何控制 hadoop 为节点使用的内核数

在 yarn-site.xml 中设置以下配置，为每个节点分配 8 个 vcore

<property>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
    <value>8</value>
</property>

同时更新 capacity-scheduler.xml 中的 yarn.scheduler.capacity.resource-calculator因为 DefaultResourceCalculator 只使用内存。

  <property>
    <name>yarn.scheduler.capacity.resource-calculator</name>
    <value>org.apache.hadoop.yarn.util.resource.DominantResourceCalculator</value>
    <description>
      The ResourceCalculator implementation to be used to compare
      Resources in the scheduler.
      The default i.e. DefaultResourceCalculator only uses Memory while
      DominantResourceCalculator uses dominant-resource to compare
      multi-dimensional resources such as Memory, CPU etc.
    </description>   </property>