hadoop - 使用 Hadoop 2.7.4 资源问题配置 Yarn

Question

我按照这个 tutorial 配置了 hadoop 2.7.4 . DataNode、NameNode 和SecondaryNameNode 工作正常。

但是当我运行 yarn 时，NodeManager 关闭并显示以下消息

org.apache.hadoop.yarn.exceptions.YarnRuntimeException: org.apache.hadoop.yarn.exceptions.YarnRuntimeException: Recieved SHUTDOWN signal from Resourcemanager ,Registration of NodeManager failed, Message from ResourceManager: NodeManager from localhost doesn't satisfy minimum allocations, Sending SHUTDOWN signal to the NodeManager.

我的系统有 8 个 CPU 和 8 GB RAM。如何使用这些资源配置 yarn ？我发现了很多，例如 this但找不到解决我问题的任何解决方案。

Answer 1

我在类(class)中遇到了同样的问题。我们使用的是具有 2 核心的 Amazon 虚拟机。

在 yarn-site.xml 中进行各种修改后，我们让 NodeManager 运行并设置以下属性

<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>4096</value>
</property>

<property>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
    <value>2</value>
</property>

在您的情况下，您可能需要建立 8 个虚拟核心。