hadoop - 在EC2上对Hadoop进行基准测试可提供相同的性能

Question

我正在尝试在Hadoop上对EC2进行基准测试。我正在使用具有1个主设备和5个从设备的1GB文件。当我像dfs.blocksize这样更改1m, 64m, 128m, 500m.时，我期望在128m时达到最佳性能，因为文件大小为1GB，并且有5个从属。但是令我惊讶的是，无论块大小如何，花费的时间或多或少都落在同一范围内。我如何获得这种奇怪的表现？

Answer 1

首先要考虑最可能的解释的几件事

检查您是否正确传入系统变量以控制作业的拆分大小，如果不进行更改，则不会更改映射器的数量(可以在jobtracker UI中进行检查)。如果您每次实际上都没有更改任何内容，则得到的映射器数量相同。要更改拆分大小，请使用系统 Prop mapred.min.split.size和mapred.max.split.size

确保您确实在访问集群，并且不会意外地在本地使用1个进程

运行

请注意(与Spark不同)，Hadoop的作业初始化时间令人恐惧。 IME大约需要20秒，因此对于1 GB的数据来说，您实际上并没有看到太多的时差，因为大部分工作都花在初始化上。