hadoop - 如何在 Amazon EMR 上配置 Hadoop 参数？

Question

我在 Amazon EMR 上使用一个主服务器和两个从服务器运行 MR 作业，但收到很多错误消息，例如 running beyond physical memory limits。当前使用情况:已使用 3.0 GB 的 3 GB 物理内存；使用了 3.7 GB 的 15 GB 虚拟内存。在 map 100% reduce 35%

后杀死容器

我通过在 Hadoop 2.6.0 MR 配置中添加以下行来修改我的代码，但我仍然收到相同的错误消息。

Configuration conf = new Configuration();
Job job = Job.getInstance(conf, "jobtest2");
//conf.set("mapreduce.input.fileinputformat.split.minsize","3073741824");                                                                   
conf.set("mapreduce.map.memory.mb", "8192");                                     
conf.set("mapreduce.map.java.opts", "-Xmx8192m");                                         
conf.set("mapreduce.reduce.memory.mb", "8192");                                         
conf.set("mapreduce.reduce.java.opts", "-Xmx8192m");

配置这些参数的正确方法是什么(mapreduce.map.memory.mb、mapreduce.map.java.opts、mapreduce.reduce。 memory.mb, mapreduce.reduce.java.opts) 在 Amazon EMR 上？谢谢!

Answer 1

Hadoop 2.x 允许您为每个作业设置 map 和 reduce 设置，以便您设置正确的部分。问题是 Java opts Xmx 内存必须小于 map/reduce.memory.mb。此属性表示堆和堆外使用的总内存。以默认值为例:http://docs.aws.amazon.com/ElasticMapReduce/latest/ReleaseGuide/emr-hadoop-task-config.html .如果 Yarn 在使用默认设置时因超出内存而终止容器，那么这意味着您需要为堆外部分提供更多内存，从而增加 Xmx 与总 map/reduce.memory.mb 之间的差距。