hadoop - yarn -让hadoop使用更多资源

Question

如您所见，该节点包含3个容器(正在使用6GB内存和3个vCore)。我希望它使用其余的vCore(vCore可用列中的5个vCore)。我尚未在yarn-site.xml上进行任何配置。

Answer 1

yarn 仅使用所需的资源
您当前正在查看的似乎是正在运行的作业当前使用的资源。
Yarn知道可以使用2GB以上的内存和5个以上的vcore，但是根据工作的性质，似乎根本无法利用这些内存。
因此，这不太可能是一个问题或需要解决的问题，而只是您从事这种性质的工作即可。

例
当我说这种性质的工作时，是指不需要使用3个2 GB的容器的工作。
此类作业的最简单示例是对3个相对较小的文件进行计数，默认容器大小为2 GB。
如果您真的想并行运行更多此类工作，则需要采取变通方法(例如设置一个很小的最大容器大小，或将所有文件分成两半)。但是，我不建议这样做。