hadoop - 在将巨大的文件加载到hadoop集群中时，如果客户端在将数据传输到数据节点时失败，该怎么办？

Question

例如，文件为1280MB，hdfs块为128MB，
客户端只转移了3个区块，然后失败了？ NameNode是获取3个块的文件还是删除3个块？

Answer 1

不，它不会删除3个块。因此，这里是它的工作原理，我们假设块4位于FSDataOuputStream维护的队列的下一个队列中。在由于某些网络问题而写了一些x字节后，datanode发生故障，首先关闭了管道，并删除了写入的所有数据，为新的好datanode赋予了新的标识，并将其添加到队列中，并将其传递给名称节点更新块4的元数据信息，然后将数据从该块的第一个字节开始写入新标识的数据节点。 《权威指南》中的文件写入剖析将帮助您更好地了解其完成方式。