java - 当我试图将整个文件夹作为 Mapreduce 程序的输入时，我正面临 "Java heap space error"

Question

当我尝试通过将整个文件夹作为 MR 作业的输入来运行 mapreduce 程序时，我遇到了“Java 堆空间错误”。当我将单个文件作为 MR 作业的输入时，我没有遇到任何错误。作业已成功运行。

Changes I tried in hadoop-env.sh file:
=====================================
I had increased the memory size from 1024 to 2048MB
export HADOOP_CLIENT_OPTS="-Xmx2048m $HADOOP_CLIENT_OPTS"

Changes in mapred-site.xml:
===========================
<property>
  <name>mapred.child.java.opts</name>
  <value>-Xmx2048m</value>
</property>

通过对这些文件进行更改，我仍然面临“Java 堆空间错误”。

任何人都可以就这个问题向我提出建议......

Answer 1

你可以用这样的东西为你的工作打开 HPROF 分析，

conf.setBoolean("mapred.task.profile", true);conf.set("mapred.task.profile.params", "-agentlib:hprof=cpu=samples,"+
"heap=sites,depth=6,force=n,thread=y,verbose=n,file=%s");conf.set("mapred.task.profile.maps", "0-2");conf.set("mapred.task.profile.reduces", "0-2");

这将帮助您诊断耗尽堆的原因。请参阅“Hadoop 权威指南”第 178-181 页中的更多详细信息。