hadoop - 为什么 Hadoop 报告 "Unhealthy Node local-dirs and log-dirs are bad"？

Question

我正在尝试在我的 PC 上设置单节点 Hadoop 2.6.0 集群。

访问时http://localhost:8088/cluster ，我发现我的节点被列为“不健康节点”。

在健康报告中，它提供了错误:

1/1 local-dirs are bad: /tmp/hadoop-hduser/nm-local-dir; 
1/1 log-dirs are bad: /usr/local/hadoop/logs/userlogs

怎么了？

Answer 1

local-dirs 坏的最常见原因是节点上的可用磁盘空间超过了 yarn 的 max-disk-utilization-per-disk-percentage 默认值90.0% 的值。

要么清理运行不正常节点的磁盘，要么增加 yarn-site.xml 中的阈值

<property>
  <name>yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage</name>
  <value>98.5</value>
</property>

避免禁用磁盘检查，因为当磁盘空间最终耗尽或存在权限问题时，您的作业可能会失败。引用yarn-site.xml Disk Checker section更多细节。

FSCK

如果怀疑目录有文件系统错误，可以运行检查

hdfs fsck /tmp/hadoop-hduser/nm-local-dir