Hadoop CDH。文件只能复制到 0 个节点而不是 minReplication (=1)

Question

我对 72 台机器的集群有疑问。其中 60 个是热存储，12 个是冷存储。当我尝试将数据放入 COLD Hive 表时，有时出现错误:

Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /user/hive/warehouse/test.db/rawlogs/dt=2016-01-31/.hive-staging_hive_2016-06-29_12-54-09_949_6553181118480369018-1/_task_tmp.-ext-10002/_tmp.001029_3 could only be replicated to 0 nodes instead of minReplication (=1).  There are 71 datanode(s) running and no node(s) are excluded in this operation.

主机FS和HDFS上都有大量空闲空间。

Configured Capacity | Capacity Used | Capacity Remaining | Block Pool Used

ARCHIVE 341.65 TB 56.64 TB (16.58%) 267.65 TB (78.34%) 56.64 TB

DISK 418.92 TB 247.78 TB (59.15%) 148.45 TB (35.44%) 247.78 TB

我为 COLD 服务器定义了 4 个机架。

Rack: /50907 1 node

Rack: /50912 1 node

Rack: /50917 1 node

Rack: /80104 9 nodes

这是一个工作集群，我不能按照 stackoverflow 上类似问题中的建议清理所有数据。

更新。我决定在集群中的所有服务器上部署更新的拓扑脚本。部署后，我确实在包括名称节点在内的每个节点上重新启动了所有 hadoop 守护进程，但 dfsadmin -showTopology 显示了旧方案。我需要做什么来更新集群拓扑？可能会删除某种缓存等。

Answer 1

请检查并尝试消除此处提到的所有 8 个可能的根本原因/条件 - https://wiki.apache.org/hadoop/CouldOnlyBeReplicatedTo .只有在排除了所有这些情况的情况下，如果您仍然无法自行解决这个问题，您应该看看下面的方法。

注意:名称节点格式化会破坏 HDFS 上的数据!!

解决此问题的步骤已记录在案 here , here和 here .因此，我只给出了高级步骤，没有确切的命令，因为可以在上述链接中找到这些命令以避免重复。

1. 停止所有 Hadoop 守护进程
2. 删除相关的临时文件(引用上述链接)
3. 格式化名称节点
4. 启动所有 Hadoop 守护进程