hadoop - 增加 hadoop 任务 JVM 大小

Question

我想设置任务 JVM 大小(Map 任务和 Reduce 任务)，可以使用属性 mapred.child.java.opts 来完成。但我担心的是，我需要在哪里设置它。我可以在提交作业时使用 -D 选项设置它，还是我需要在每个节点的 mapred-site.xml 中设置此属性。

谢谢，普里亚兰詹

Answer 1

你可以使用

-Dmapred.child.java.opts='-Xmx1024m'

在命令行上将任务内存设置为 1024 mib。

类似在作业的Java代码中，可以将其设置为配置参数:

conf.set("mapred.child.java.opts", "-Xmx1024m");