hadoop - 更改 Hadoop 中现有文件的 block 大小

Question

考虑一个 hadoop 集群，其中 hdfs-site.xml 中的默认 block 大小为 64MB。然而，后来团队决定将其更改为 128MB。这是我对上述情况的问题？

1. 此更改是否需要重新启动集群，或者它会自动生效并且所有新文件都将具有默认的 128MB block 大小？
2. block 大小为 64M 的现有文件会怎样？配置中的更改会自动应用于现有文件吗？如果它会自动完成，那么什么时候会完成 - 一旦更改完成或集群启动时？如果不是自动完成，那么如何手动完成此 block 更改？

Answer 1

Will this change require restart of the cluster or it will be taken up automatically and all new files will have the default block size of 128MB

此属性更改需要重新启动集群才能生效。

What will happen to the existing files which have block size of 64M? Will the change in the configuration apply to existing files automatically?

现有区 block 不会改变它们的区 block 大小。

If not automatically done, then how to manually do this block change?

要更改现有文件，您可以使用 distcp。它将使用新的 block 大小复制文件。但是，您必须手动删除 block 大小较旧的旧文件。这是您可以使用的命令

hadoop distcp -Ddfs.block.size=XX /path/to/old/files /path/to/new/files/with/larger/block/sizes.