file - 可以修改 HDFS 文件吗？

Question

我最近无意中听到有人说 HDFS 文件无法修改的对话。

我很惊讶听到这个消息，因为我认为包括更新在内的所有文件操作都被支持了。现在我知道 HDFS 针对流进行了优化，但这与权限有关，还是严格不允许修改？

注意我指的是修改而不是将数据附加到现有文件。

Answer 1

HDFS 是一个仅附加文件系统。要“更新”文件，您需要收集文件的所有 block ，重写它们的内容，然后更新所有 block 位置

HDFS 也没有针对流式传输进行优化。这就是为什么像 Kafka、Storm、Spark、Flink、Samza、NiFi 等框架都存在的原因。它们与 Hadoop 集成，但将小批量文件流式传输到 HDFS 并不是它的优化目标。

不确定我是否理解关于权限的评论，但这些是由 Namenode ACL 或外部系统(如 Ranger 或 Sentry)控制的。

如果相反，您指的是 Hive 表上的 ACID 事务，那么您通常会在其中使用短语“CRUD 操作”。