gpt4 book ai didi

hadoop - YARN UNHEALTHY 节点

转载 作者:可可西里 更新时间:2023-11-01 14:15:49 26 4
gpt4 key购买 nike

在我们 80% 满的 YARN 集群中,我们看到一些 yarn nodemanager 被标记为不健康。在深入研究日志后,我发现它是因为数据目录的磁盘空间已满 90%。出现以下错误

2015-02-21 08:33:51,590 INFO org.apache.hadoop.yarn.server.resourcemanager.rmnode.RMNodeImpl: Node hdp009.abc.com:8041 reported UNHEALTHY with details: 4/4 local-dirs are bad: /data3/yarn/nm,/data2/yarn/nm,/data4/yarn/nm,/data1/yarn/nm;
2015-02-21 08:33:51,590 INFO org.apache.hadoop.yarn.server.resourcemanager.rmnode.RMNodeImpl: hdp009.abc.com:8041 Node Transitioned from RUNNING to UNHEALTHY

我想了解 yarn 如何标记节点不健康以及是否有任何方法可以更改阈值?

谢谢

最佳答案

尝试将属性 yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage 添加到 yarn-site.xml。此属性指定磁盘被标记为坏磁盘后允许的最大磁盘空间利用率百分比。值的范围可以从 0.0 到 100.0。

yarn-default.xml

强制到健康状态例如:

<?xml version="1.0"?>
<configuration>
<property>
<name>yarn.nodemanager.disk-health-checker.min-healthy-disks</name>
<value>0.0</value>
</property>
<property>
<name>yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage</name>
<value>100.0</value>
</property>
</configuration>

关于hadoop - YARN UNHEALTHY 节点,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/29010039/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com