gpt4 book ai didi

hadoop - yarn : yarn-site. xml 更改未生效

转载 作者:可可西里 更新时间:2023-11-01 15:57:44 27 4
gpt4 key购买 nike

我们有一个在 HDFS 2.7.3 上运行的 Spark 流应用程序,使用 Yarn 作为资源管理器....在运行应用程序时......这两个文件夹

/tmp/hadoop/data/nm-local-dir/filecache

/tmp/hadoop/data/nm-local-dir/filecache

正在填满,因此磁盘......

所以根据我的研究发现,在 yarn-site.xml 中配置这两个属性会有所帮助

<property>
<name>yarn.nodemanager.localizer.cache.cleanup.interval-ms</name>
<value>2000</value>
</property>

<property>
<name>yarn.nodemanager.localizer.cache.target-size-mb</name>
<value>2048</value>
</property>

我已经在每个名称节点和主节点上配置了它们..并在主节点上重新启动了 yarn ..但似乎仍然没有帮助...如果我遗漏了什么请告诉我...在进行配置时更改 ...这是 yarn-site.xml

<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

<property>
<name>yarn.resourcemanager.hostname</name>
<value>hdfs-name-node</value>
</property>

<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>16384</value>
</property>

<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>6</value>
</property>

<property>
<name>yarn.scheduler.maximum-allocation-mb</name>
<value>16384</value>
</property>

<property>
<name>yarn.nodemanager.local-dirs</name>
<value>file:///tmp/hadoop/data/nm-local-dir</value>
</property>

<property>
<name>yarn.nodemanager.localizer.cache.cleanup.interval-ms</name>
<value>2000</value>
</property>

<property>
<name>yarn.nodemanager.localizer.cache.target-size-mb</name>
<value>2048</value>
</property>

</configuration>

更新:我尝试使用此属性,但仍然无法清理并且磁盘已满

<property>
<name>yarn.nodemanager.local-dirs</name>
<value>file:///tmp/hadoop/data/nm-local-dir,file:///tmp/hadoop/data/nm-local-dir/filecache,file:///tmp/hadoop/data/nm-local-dir/usercache</value>
</property>

最佳答案

你说文件夹“/tmp/hadoop/data/nm-local-dir/filecache”正在填满所以应该定期清理。

但是您为清理指定的参数,特别是“yarn.nodemanager.localizer.cache.cleanup.interval-ms”和“yarn.nodemanager.localizer.cache.target-size-mb”适用于“/tmp/hadoop/data/nm-local-dir/filecache”但“file:///tmp/hadoop/data/nm-local-dir”的“yarn.nodemanager.local-dirs”值不包括“filecache “在路径中。将值“file:///tmp/hadoop/data/nm-local-dir”固定为“file:///tmp/hadoop/data/nm-local-dir/filecache”。

关于hadoop - yarn : yarn-site. xml 更改未生效,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/41575724/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com