apache-spark - 如何增加在 Yarn UI 上显示的 "memory total"？

Question

我在 EMR (emr-5.20.0) 上有一个集群，其中一个 m5.2xlarge 作为 Node Master，两个 m4.large 作为 core，三个 m4.large 作为 node worker。该集群的内存内存总和为 62GB，但在 YARN UI 中显示的总内存为 30GB。

有人可以帮助我了解这个值是如何计算的吗？

我已经检查了 Yarn-site.xml 和 spark-default.conf 中的配置，它们是根据 AWS 推荐配置的:https://docs.aws.amazon.com/pt_br/emr/latest/ReleaseGuide/emr-hadoop-task-config.html#emr-hadoop-task-config-m5

欢迎大家的帮助

Answer 1

可以使用以下集群参数配置 YARN 中的内存设置:

yarn.nodemanager.resource.memory-mb
yarn.scheduler.minimum-allocation-mb
yarn.scheduler.increment-allocation-mb
yarn.scheduler.maximum-allocation-mb

我调整这些参数可以增加/减少分配给集群的总内存。