hadoop BlockMissingException

Question

我遇到以下错误:

Diagnostics: org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block: BP-467931813-10.3.20.155-1514489559979:blk_1073741991_1167 file=/user/oozie/share/lib/lib_20171228193421/oozie/hadoop-auth-2.7.2-amzn-2.jar
Failing this attempt. Failing the application.

虽然我已经为/user/oozie/share/lib/目录设置了复制因子 3。此路径下的所有 jar 在 3 个数据节点上都可用，但很少有 jar 丢失。任何人都可以提出为什么会发生这种情况以及如何防止这种情况。

Answer 1

我在尝试从 hdfs 读取文件时遇到了同样的异常。此链接中“客户端在连接到 DataNodes 时使用主机名”部分下的解决方案对我有用: https://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-hdfs/HdfsMultihoming.html#Clients_use_Hostnames_when_connecting_to_DataNodes

我将这个 XML block 添加到“hdfs-site.xml”并重新启动了数据节点和名称节点服务器:

<property>
    <name>dfs.client.use.datanode.hostname</name>
    <value>true</value>
    <description>Whether clients should use datanode hostnames when
      connecting to datanodes.
    </description>
</property>