hadoop - Amazon Elastic MapReduce 引导操作不工作

Question

我已经尝试了以下引导操作组合来增加我的作业的堆大小，但它们似乎都不起作用:

--mapred-key-value mapred.child.java.opts=-Xmx1024m 
--mapred-key-value mapred.child.ulimit=unlimited

--mapred-key-value mapred.map.child.java.opts=-Xmx1024m 
--mapred-key-value mapred.map.child.ulimit=unlimited

-m mapred.map.child.java.opts=-Xmx1024m
-m mapred.map.child.ulimit=unlimited 

-m mapred.child.java.opts=-Xmx1024m 
-m mapred.child.ulimit=unlimited 

什么是正确的语法？

Answer 1

您有两种选择来实现这一目标:

自定义 JVM 设置

为了应用自定义设置，您可能需要查看 Bootstrap Actions Amazon Elastic MapReduce (Amazon EMR) 的文档，具体操作Configure Daemons :

This predefined bootstrap action lets you specify the heap size or other Java Virtual Machine (JVM) options for the Hadoop daemons. You can use this bootstrap action to configure Hadoop for large jobs that require more memory than Hadoop allocates by default. You can also use this bootstrap action to modify advanced JVM options, such as garbage collection behavior.

还提供了一个示例，将堆大小设置为 2048 并配置 Java namenode 选项:

$ ./elastic-mapreduce –create –alive \
  --bootstrap-action s3://elasticmapreduce/bootstrap-actions/configure-daemons \
  --args --namenode-heap-size=2048,--namenode-opts=-XX:GCTimeRatio=19   

预定义的 JVM 设置

或者，根据常见问题 How do I configure Hadoop settings for my job flow? ，如果您的作业流任务是内存密集型任务，您可以选择每个内核使用较少的任务并减少作业跟踪器堆大小。对于这种情况，预定义的引导操作可用于在启动时配置您的作业流程 - 这指的是操作 Configure Memory-Intensive Workloads ，它允许您将集群范围的 Hadoop 设置设置为适合具有内存密集型工作负载的作业流的值，例如:

$ ./elastic-mapreduce --create \
--bootstrap-action \
  s3://elasticmapreduce/bootstrap-actions/configurations/latest/memory-intensive

此预定义引导操作应用的特定配置设置列在 Hadoop Memory-Intensive Configuration Settings 中.

祝你好运!