hadoop - 无法为Hortonworks中的Map/Reduce作业分配多个CPU

Question

我在5节点群集上运行HDP 2.4.2版本。
每当我在群集上启动任何作业时，它们只会占用一个CPU而不是已配置的CPU。

我已经配置了4个CPU，但是我的工作仅占用一个CPU。

我的群集中有五个24核128 GB Ubuntu盒子。

请让我知道这是否是HDP的限制，因为它在cloudera上工作正常

编辑

<property>
 <name>yarn.scheduler.maximum-allocation-vcores</name>
<value>15</value>
</property>
<property>
 <name>yarn.nodemanager.resource.cpu-vcores</name>
<value>15</value>
</property>

Answer 1

以下是此问题的解决方案

默认情况下，必须在群集上启用CPU调度，并将其设置为禁用。在群集上启用CPU调度后，它开始为我的作业提供请求的CPU。
yarn.scheduler.capacity.resource-calculator是属性名称。在 yarn 配置中搜索并启用它。此属性的默认值为DefaultResourceCalculator，一旦启用CPU调度，它将被DominantResourceCalculator覆盖。

引用链接:https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.5.3/bk_yarn-resource-management/content/enabling_cpu_scheduling.html