hadoop nodemanager 未启动，slave 不满足最小分配

Question

当运行 start-all.sh 我的 slave1 和 slave2 在 jps 中找不到 nodemanager

使用 VM virtualbox 在 Ubuntu 16.04 上工作主人

yunchi@master:~$ jps
15920 Jps
15505 SecondaryNameNode
15659 ResourceManager
15293 NameNode

奴隶1

yunchi@slave1:~$ jps
7587 DataNode
7945 Jps

奴隶2

yunchi@slave2:~$ jps
7138 DataNode
7374 Jps

这是我的nodemanager-slave1.log

2017-10-12 17:26:59,662 错误 org.apache.hadoop.yarn.server.nodemanager.NodeStatusUpdaterImpl:启动 NodeStatusUpdater 时出现意外错误org． 在 org.apache.hadoop.yarn.server.nodemanager.NodeStatusUpdaterImpl.registerWithRM(NodeStatusUpdaterImpl.java:278) 在 org.apache.hadoop.yarn.server.nodemanager.NodeStatusUpdaterImpl.serviceStart(NodeStatusUpdaterImpl.java:197) 在 org.apache.hadoop.service.AbstractService.start(AbstractService.java:193) 在 org.apache.hadoop.service.CompositeService.serviceStart(CompositeService.java:120) 在 org.apache.hadoop.yarn.server.nodemanager.NodeManager.serviceStart(NodeManager.java:272) 在 org.apache.hadoop.service.AbstractService.start(AbstractService.java:193) 在 org.apache.hadoop.yarn.server.nodemanager.NodeManager.initAndStartNodeManager(NodeManager.java:496) 在 org.apache.hadoop.yarn.server.nodemanager.NodeManager.main(NodeManager.java:543)

2017-10-12 17:26:59,710 致命 org.apache.hadoop.yarn.server.nodemanager.NodeManager:启动 NodeManager 时出错org.apache.hadoop.yarn.exceptions.YarnRuntimeException:org.apache.hadoop.yarn.exceptions.YarnRuntimeException:收到来自 Resourcemanager 的 SHUTDOWN 信号，NodeManager 注册失败，来自 ResourceManager 的消息:来自 slave1 的 NodeManager 不满足最小分配，正在发送向 NodeManager 发出 SHUTDOWN 信号。 在 org.apache.hadoop.yarn.server.nodemanager.NodeStatusUpdaterImpl.serviceStart(NodeStatusUpdaterImpl.java:203) 在 org.apache.hadoop.service.AbstractService.start(AbstractService.java:193) 在 org.apache.hadoop.service.CompositeService.serviceStart(CompositeService.java:120) 在 org.apache.hadoop.yarn.server.nodemanager.NodeManager.serviceStart(NodeManager.java:272) 在 org.apache.hadoop.service.AbstractService.start(AbstractService.java:193) 在 org.apache.hadoop.yarn.server.nodemanager.NodeManager.initAndStartNodeManager(NodeManager.java:496) 在 org.apache.hadoop.yarn.server.nodemanager.NodeManager.main(NodeManager.java:543)原因:org.apache.hadoop.yarn.exceptions.YarnRuntimeException:收到来自 Resourcemanager 的 SHUTDOWN 信号，NodeManager 注册失败，来自 ResourceManager 的消息:来自 slave1 的 NodeManager 不满足最小分配，正在向 NodeManager 发送 SHUTDOWN 信号。 在 org.apache.hadoop.yarn.server.nodemanager.NodeStatusUpdaterImpl.registerWithRM(NodeStatusUpdaterImpl.java:278) 在 org.apache.hadoop.yarn.server.nodemanager.NodeStatusUpdaterImpl.serviceStart(NodeStatusUpdaterImpl.java:197) ... 6 更多

找了一些相关的资料，让我补充

<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>1024</value>
</property>

但是还是不行。

所以，我设置为4096，还是不行

下面是我的 yarn-site.xml

 <configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>

<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>

<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8031</value>
</property>

<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>

<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>

<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>4096</value>
</property>

<property>
<name>yarn.nodemanager.local-dirs</name>
<value>/home/yunchi/yarn</value>
<final>true</final>
</property>


<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>1</value>
</property>
<property>
<name>yarn.scheduler.minimum-allocation-vcores</name>
<value>1</value>
</property>

Answer 1

也许您的虚拟机没有足够的资源。所以你不应该增加参数 yarn.nodemanager.resource.memory-mb 的值，因为没有资源。尝试为此参数设置较小的值，例如 256 MB。

检查这个post .