java - 映射的子错误:AWS EMR实例终止

Question

当我运行中等类型的EMR实例时，在第一步中发现EMR实例终止了。我在AWS实例中使用了5个实例。它的容量是3.75 GB RAM。我为mapred.child.java.opts属性提供了3000 MB的堆大小。我已经使用JobConf将此设置为conf.set(“mapred.child.java.opts”，“-Xmx3000m”)等给定参数。我需要执行三个步骤来运行Amazon EMR程序。在最后一步中，我遇到了java.lang.Throwable:Child Error这个问题。工作失败的原因是什么？子节点中的映射器所需的最佳堆大小也是多少。

Answer 1

除非您正在做一些特别的事情-3000M太高了。您能检查每台机器正在运行多少个map任务hadoop吗？如果它运行不止一个，它将轻松吹走3.75GB的ram(无论如何，有些内核必须是免费的)。

我们提供hadoop即服务(Qubole)。默认情况下是这里(和我以前的演出)-我们使用1024M作为默认值。您需要将io.sort.mb设置得远低于此值(例如400-500MB)。仅当用户正在执行某些特殊操作(例如大型 map 侧联接)时，才有理由对其进行改进。如果必须增加它-我们将不得不减少每台机器的最大并发映射任务数(如果超过一台)。