hadoop - 是否可以将 hadoop block 大小设置为 24 MB？

Question

我只是想问问您对 HDFS block 大小的看法。所以我把HDFS的block size设置为24MB就可以正常运行了。我记得 24 MB 不是计算机上通常大小的指数数(2 的倍数)。所以我想问问大家，你们对 24MB 有什么看法？

谢谢大家....

Answer 1

是的。可以将 HDFS block 大小设置为 24 MB。 Hadoop 1.x.x 默认为 64 MB，2.x.x 默认为 128 MB。

在我看来，增加 block 大小。因为， block 大小越大，reducer 阶段使用的时间就越少。事情会加快。但是，如果减小块大小，每个映射阶段将花费更少的时间，但有可能在 reduce 阶段使用更多时间。从而增加整体时间。

从本地文件系统传输到HDFS时，您可以使用以下命令更改 block 大小:

hadoop fs -D dfs.blocksize=<blocksize> -put <source_filename> <destination>

可以通过将 hdfs-site.xml 更改为以下内容来永久更改 block 大小:

<property> 
<name>dfs.block.size<name> 
<value>134217728<value> 
<description>Block size<description> 
<property>