hadoop - 如何根据用于提高性能的实例数增加 hadoop 中的映射器和缩减器？

Question

如果我增加映射器的数量并减少缩减器的数量，那么执行时任何作业的性能(增加/减少)是否有任何差异？

另外我想问下如何设置mappers和reducer的个数？我从来没有玩过这个设置，所以我不知道这个。我知道 hadoop，但我有代码，因为我经常使用 Hive。

此外，如果我想增加映射器和缩减器的数量，那么如何设置它以及我将它设置到什么值。它取决于实例的数量(比如 10 个)吗？

请回复我，我想试试这个并检查性能。谢谢。

Answer 1

您可以根据 block 大小和拆分大小增加映射器的数量。最简单的方法之一是减小拆分大小，如下所示:

Configuration conf= new Cofiguration();
//set the value that increases your number of splits.
conf.set("mapred.max.split.size", "1020");
Job job = new Job(conf, "My job name");