hadoop - 并行 hadoop 作业不会通过

Question

我正在运行一个本地 hadoop 集群并尝试同时提交两个作业，但我的第一个作业通过了，第二个没有，并且一直处于未分配状态，直到第一个作业完成。我预感内存有问题，但我不太明白。这是我为容器、映射器、reduce、jvm 等设置的值。

yarn.nodemanager.resource.memory-mb=40960

yarn.scheduler.minimum-allocation-mb=4096

yarn.scheduler.maximum-allocation-mb=10240

mapreduce.map.java.opts=-Xmx5120m

mapreduce.reduce.java.opts=-Xmx5120m

mapreduce.map.memory.mb=8192

mapreduce.reduce.memory.mb=8192

其余的属性获得了它们的默认值。我的值(value)观有什么问题吗？还有什么我应该改变的吗？

Answer 1

我解决了这个问题是因为“yarn.scheduler.capacity.maximum-am-resource-percent”属性。我将其设置为更高的值。