Hadoop分布式文件系统

Question

我有一个包含 3 个 block ( block a、 block b、 block c)的 file.txt。 hadoop 如何将这些 block 写入集群。我的问题是 hadoop 是否遵循并行写入？或者 block b 是否必须等待 block a 写入集群？或者block a和block b和block c并行写入hadoop集群...

Answer 1

当您将文件从本地文件系统复制到 HDFS 或当您在 HDFS 中创建新文件时: block 按顺序复制 - 首先，第一个 block 是复制到数据节点，然后将第二个 block 复制到数据节点，依此类推。

然而，并行完成的是副本放置:当数据节点从客户端接收 block 的数据时，数据节点将数据保存在代表 block 的文件中，同时将数据重新发送到另一个数据节点，它应该创建 block 的另一个副本。

当您将文件从一个位置复制到 HDFS 集群内或两个 HDFS 集群之间的另一个位置时:您可以使用 DistCp 并行执行此操作。