hadoop - 在Hadoop配置期间，如何解决datanode日志中的错误？

Question

我在Windows系统中安装了Hadoop。仅namenode和资源管理器服务正在运行。使用jps cmd时，看不到剩余的服务，如DataNode，SecondaryNameNode和NodeManager守护程序。 DataNode日志中将引发以下错误；

错误:

2019-09-27 11:38:04,881 ERROR datanode.DataNode: Exception in secureMain
org.apache.hadoop.util.DiskChecker$DiskErrorException: Too many failed volumes - current valid volumes: 0, volumes configured: 1, volumes failed: 1, volume failures tolerated: 0
        at org.apache.hadoop.hdfs.server.datanode.checker.StorageLocationChecker.check(StorageLocationChecker.java:231)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:2776)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:2691)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:2733)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:2877)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:2901)
2019-09-27 11:38:04,881 INFO util.ExitUtil: Exiting with status 1: org.apache.hadoop.util.DiskChecker$DiskErrorException: Too many failed volumes - current valid volumes: 0, volumes configured: 1, volumes failed: 1, volume failures tolerated: 0
2019-09-27 11:38:04,881 INFO datanode.DataNode: SHUTDOWN_MSG:

有人可以给我解决方案吗？

Answer 1

这是由于DN中已装入的磁盘发生故障。

首先，您可以在数据节点中检查已安装磁盘的状态。 (任何运行不正常，RO或损坏的磁盘)

CMD: cat /etc/fstab or mount

如果有多个磁盘出现问题(取决于dfs.datanode.failed.volumes.tolerated值)，则数据节点将关闭。

在这里，根据上面的日志:

配置的卷:1
卷失败:1

因此，DN中没有 Activity 磁盘。关闭。

NOTE:

我们可以通过hdfs-default.xml中的 dfs.datanode.failed.volumes.tolerated 控制DN中的安装盘

它定义了在数据节点停止提供服务之前允许失败的卷数。任何卷故障都将导致数据节点关闭。默认情况下，其为零