hadoop - 我可以绕开HDFS中的无更新限制吗？

Question

感谢您的回答。我仍然没有得到我想要的答案。这是涉及HDFS和concat api的一个特殊问题。

这里是。当concat谈论文件时，是否仅表示“由HDFS创建和管理的文件”？还是对HDFS未知但仅存在于数据节点上的文件起作用？

这个想法是为了

创建文件并通过HDFS保存。它被分解成块并保存到数据节点。

直接转到数据节点，并使用常规的shell命令对块进行本地复制。

更改这些副本。我现在有一组Hadoop不知道的块。校验和绝对不好。

使用concat将副本缝合在一起，并使用HDFS“注册”它们。

最后，关于HDFS，我有两个文件。原始副本和更新副本。本质上，我无需通过Hadoop就将数据块放在数据节点上。 concat代码将所有这些新块放入一个新的HDFS文件中，而不必通过Hadoop传递数据。

我认为这行不通，但是我需要确保它不会。我建议将其作为更新问题的可能解决方案。我需要说服他们这行不通。

Answer 1

HDFS的基本理念是:

write-once, read-many

则无法使用HDFS的基本实现来更新文件。如果使用允许该文件的Hadoop分支，则只能将其附加在当前文件的末尾。 (原始版本不允许)

另一种选择是使用非标准HDFS，例如Map-R文件系统: https://www.mapr.com/blog/get-real-hadoop-read-write-file-system#.VfHYK2wViko