hadoop - 如何正确设置hadoop block 大小？

Question

我试图将我的文件组合成一个文件上传到HDFS中。因此，HDFS的文件数比以前小但大小相同。因此，在这种情况下，我获得了更快的mapreduce时间，因为我认为该过程使容器(map任务或reduce任务)的数量减少了。

因此，我想问一下，如何正确设置块大小，以获得更快的mapreduce？我应该设置为大于默认值(最小化容器号)吗？

非常感谢....

Answer 1

您知道吗，为什么hadoop具有强大而快速的计算能力？因为它将一个大工作分成许多小工作。这就是hadoop的精神。

协调工作流程的机制很多，也许调整块大小无法达到您的目标。

您可以设置参数“dfs.block.size”(以字节为单位)以调整块大小。