hadoop - 容器运行超出物理内存。 Hadoop 流 python MR

Question

我正在运行一个 Python 脚本，它需要一个文件 (genome.fa) 作为依赖项(引用)来执行。当我运行这个命令时:

 hadoop jar /usr/local/hadoop/share/hadoop/tools/lib/had                                                                                                             oop-streaming-2.5.1.jar  -file ./methratio.py -file '../Test_BSMAP/genome.fa'  -                                                                                                             mapper './methratio.py -r -g ' -input /TextLab/sravisha_test/SamFiles/test_sam                                                                                                               -output ./outfile

我收到这个错误:

    15/01/30 10:48:38 INFO mapreduce.Job:  map 0% reduce 0%
    15/01/30 10:52:01 INFO mapreduce.Job: Task Idattempt_1422600586708_0001_m_000 009_0, Status : FAILED 
Container [pid=22533,containerID=container_1422600586708_0001_01_000017] is running beyond physical memory limits. Current usage: 1.1 GB of 1 GB physical memory used; 2.4 GB of 2.1 GB virtual memory used. Killing container.

我正在使用 Cloudera Manager(免费版)。这些是我的配置:

yarn.app.mapreduce.am.resource.cpu-vcores = 1
ApplicationMaster Java Maximum Heap Size = 825955249 B

mapreduce.map.memory.mb = 1GB
mapreduce.reduce.memory.mb = 1 GB
mapreduce.map.java.opts = -Djava.net.preferIPv4Stack=true
mapreduce.map.java.opts.max.heap = 825955249 B

yarn.app.mapreduce.am.resource.mb = 1GB
 Java Heap Size of JobHistory Server in Bytes = 397 MB

谁能告诉我为什么会出现这个错误？？

Answer 1

我认为您的 python 脚本在读取大型输入文件(线索:genome.fa)期间消耗了大量内存。

这是我的理由(引用:http://courses.coreservlets.com/Course-Materials/pdf/hadoop/04-MapRed-6-JobExecutionOnYarn.pdf、Container is running beyond memory limits、http://hortonworks.com/blog/how-to-plan-and-configure-yarn-in-hdp-2-0/)

容器的内存使用量 = JVM 堆大小 + JVM Perm Gen + native 库 + 派生进程使用的内存

最后一个变量“生成进程使用的内存”(Python 代码)可能是罪魁祸首。

尝试增加这两个参数的内存大小:ma​​preduce.map.java.opts
和 ma​​preduce.reduce.java.opts。