java - 运行简单的 mapreduce 作业时出现错误 "java.lang.OutOfMemoryError: Java heap space"

Question

我一直在尝试在 RHEL 6 中为 wordcount 运行一个简单的 Mapreduce 作业，但我一直收到此错误。请帮忙。

13/01/13 19:59:01 INFO mapred.MapTask: io.sort.mb = 100
13/01/13 19:59:01 WARN mapred.LocalJobRunner: job_local_0001
java.lang.OutOfMemoryError: Java heap space
    at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.<init>(MapTask.java:949)
    at org.apache.hadoop.mapred.MapTask$NewOutputCollector.<init>(MapTask.java:674)
    at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:756)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:370)
    at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:212)
13/01/13 19:59:02 INFO mapred.JobClient:  map 0% reduce 0%
13/01/13 19:59:02 INFO mapred.JobClient: Job complete: job_local_0001
13/01/13 19:59:02 INFO mapred.JobClient: Counters: 0

Answer 1

您可能需要为最大堆和最大永久空间增加一些 JVM 设置。

我建议运行 Visual VM当您的 Hadoop 作业正在运行时，这样您就可以了解正在发生的事情。

您是否在运行多个服务器？也许您要求单个服务器做太多事情。