作者热门文章
- android - RelativeLayout 背景可绘制重叠内容
- android - 如何链接 cpufeatures lib 以获取 native android 库?
- java - OnItemClickListener 不起作用,但 OnLongItemClickListener 在自定义 ListView 中起作用
- java - Android 文件转字符串
我们有一个由 Yarn 管理并运行 hadoop 的 5 节点集群
1 Master name node 8 vcores and 24GB memory
4 个数据节点,每个节点 8 个 vcores 和 24GB 内存
当我在 ui 上查看 Yarn 配置时,如下图中突出显示的那样,它仅使用 16GB 和 6 个 vcores
我们的应用程序正在使用所有 16gb,因此想要增加内存,因为它可用(24 - 2gb for os 所以可用是 22gb)
我需要在哪里配置这个 22gb 而不是 16gb?
根据研究发现 yarn-site.xml 可能是这个地方所以继续更新它并重新启动 yarn 但它仍然显示 16gb
如果社区中的任何专家能提供帮助,我们将不胜感激,因为我们是 Yarn 的新手
这是 yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hdfs-name-node</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>21528</value>
</property>
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>6</value>
</property>
<property>
<name>yarn.scheduler.maximum-allocation-mb</name>
<value>21528</value>
</property>
<property>
<name>yarn.nodemanager.local-dirs</name>
<value>file:///tmp/hadoop/data/nm-local-dir,file:///tmp/hadoop/data/nm-local-dir/filecache,file:///tmp/hadoop/data/nm-local-dir/usercache</value>
</property>
<property>
<name>yarn.nodemanager.localizer.cache.cleanup.interval-ms</name>
<value>500</value>
</property>
<property>
<name>yarn.nodemanager.localizer.cache.target-size-mb</name>
<value>512</value>
</property>
<property>
<name>yarn.nodemanager.address</name>
<value>0.0.0.0:8039</value>
</property>
</configuration>
最佳答案
你的理解完全错误。根据您所附的图片,yarn 使用的总内存为 64GB,VCores 为 24。
图像中突出显示的部分是调度程序内存和 vcores,由您的管理员为租户设计。
如果您是调度程序队列的一部分,则可以使用最大 16 GB 和 6 个核心。
关于hadoop - yarn : How to make Yarn utilize more memory and vcores,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/42016300/
我是一名优秀的程序员,十分优秀!