hadoop - 如何在 hadoop mapreduce/yarn 中设置 VCORES？

Question

以下是我的配置:

**mapred-site.xml**
map-mb : 4096 opts:-Xmx3072m
reduce-mb : 8192 opts:-Xmx6144m

**yarn-site.xml**
resource memory-mb : 40GB
min allocation-mb : 1GB

hadoop 集群中的 Vcor​​es 显示为 8GB，但我不知道如何计算或在哪里配置它。

希望有人能帮助我。

Answer 1

简答题

如果您只是在单节点集群或小型个人分布式集群上开箱即用地运行 hadoop，这很可能无关紧要。您只需要担心内存。

长答案

vCore 用于较大的集群，以限制不同用户或应用程序的 CPU。如果您自己使用 YARN，则没有真正的理由限制您的容器 CPU。这就是为什么在 Hadoop 中默认情况下甚至不考虑 vCores 的原因!

尝试将可用的 nodemanager vcores 设置为 1。没关系!您的容器数量仍将是 2 或 4 .. 或任何以下值:

yarn.nodemanager.resource.memory-mb/mapreduce.[map|reduce].memory.mb

如果真的想要考虑 vCores 的容器数量并受限于:

yarn.nodemanager.resource.cpu-vcores/mapreduce.[map|reduce].cpu.vcores

那么您需要使用不同的资源计算器。转到您的 capacity-scheduler.xml 配置并将 DefaultResourceCalculator 更改为 DominantResourceCalculator。

除了使用vCores进行容器分配，你还想使用vCores来真正限制每个节点的CPU使用率吗？您需要更改更多配置以使用 LinuxContainerExecutor 而不是 DefaultContainerExecutor，因为它可以管理用于限制 CPU 资源的 linux cgroup。关注this page如果您想了解更多信息。