gpt4 book ai didi

hadoop - Apache Hadoop Yarn - 内核利用率不足

转载 作者:行者123 更新时间:2023-12-03 17:40:45 24 4
gpt4 key购买 nike

无论我如何修改 yarn-site.xml 中的设置即使用以下所有选项

yarn.scheduler.minimum-allocation-vcores
yarn.nodemanager.resource.memory-mb
yarn.nodemanager.resource.cpu-vcores
yarn.scheduler.maximum-allocation-mb
yarn.scheduler.maximum-allocation-vcores

我仍然无法获得我的应用程序,即 Spark 来利用集群上的所有核心。 spark executor 似乎正确地占用了所有可用内存,但每个 executor 只占用一个内核,仅此而已。

以下是在 spark-defaults.conf 中配置的选项
spark.executor.cores                    3
spark.executor.memory 5100m
spark.yarn.executor.memoryOverhead 800
spark.driver.memory 2g
spark.yarn.driver.memoryOverhead 400
spark.executor.instances 28
spark.reducer.maxMbInFlight 120
spark.shuffle.file.buffer.kb 200

请注意 spark.executor.cores设置为 3,但它不起作用。
我该如何解决?

最佳答案

问题不在于 yarn-site.xmlspark-defaults.conf但实际上使用资源计算器将内核分配给执行程序,或者在 MapReduce 作业的情况下,分配给 Mappers/Reducers。

默认资源计算器,即 org.apache.hadoop.yarn.util.resource.DefaultResourceCalculator仅使用内存信息来分配容器,默认情况下不启用 CPU 调度。要同时使用内存和 CPU,需要将资源计算器更改为 org.apache.hadoop.yarn.util.resource.DominantResourceCalculatorcapacity-scheduler.xml文件。

这是需要改变的。

<property>
<name>yarn.scheduler.capacity.resource-calculator</name>
<value>org.apache.hadoop.yarn.util.resource.DominantResourceCalculator</value>
</property>

关于hadoop - Apache Hadoop Yarn - 内核利用率不足,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/37211913/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com