hadoop - HDFS的文件更新要求是什么？

Question

在 the HDFS Archiectiure guide 的简单一致性模型部分下，它指出(强调我的):

HDFS applications need a write-once-read-many access model for files. A file once created, written, and closed need not be changed. This assumption simplifies data coherency issues and enables high throughput data access. A Map/Reduce application or a web crawler application fits perfectly with this model. There is a plan to support appending-writes to files in the future.

我对这里使用“不需要”感到困惑。他们的意思真的是“不能”或“不应该”吗？如果是这样，像 HBase 这样的程序如何提供更新支持？如果他们真的意味着“不需要”(即 "doesn't have to" )，那么他们试图传达什么？哪些文件系统要求您在写入后更改文件？

Answer 1

据我所知，不需要 是假设 的一部分，即“简化数据一致性问题，从而实现高...”。实际上意味着不能。但是您可以删除并重新创建孔文件。

在 hadoop 0.20.2-append 之后(如 here 所示)，您可以附加数据。

就我所读的内容而言，我了解到 HBase 主要使用内存 ( WAL? section 11.8.3 ) 并且修改会作为标记附加。例如，要删除一个列，它会创建一个墓碑(请参阅 section 5.8.1.5)，仅标记删除和定期压缩。

也许我错了。我学习确切解释的好时机:)