apache-spark - 如何在EMR群集中的yarn-site.xml中插入配置

Question

我有一个问题:
running beyond physical memory limits. Current usage: 1.5 GB of 1.4 GB physical memory used; 3.4 GB of 6.9 GB virtual memory used. Killing container.
我的群集是:4x c3.4xlarge(datanode)和m3.2xlarge(namenode)，与我的配置相同，我只有1.4GB可用空间。

并解决此问题，我在此站点https://www.knowru.com/blog/first-3-frustrations-you-will-encounter-when-migrating-spark-applications-aws-emr/和其他站点中阅读，关键是更改yarn-site.xml并添加此配置yarn.nodemanager.vmem-check-enabled
但是，当我更改此配置时，保存并重新启动EMR中的resourcemanager，此配置未应用到配置页(EMR名称节点:8088 / conf)中，并且不起作用，但是默认情况下配置创建为EMR接受更改。

我如何在运行群集EMR的情况下更改配置？

我已经看到此设置仅需要在集群创建中进行配置，真的吗？

我该如何欺骗？

Answer 1

我正在接受此错误running beyond physical memory limits. Current usage: 1.5 GB of 1.4 GB physical memory used; 3.4 GB of 6.9 GB virtual memory used. Killing container，因为我的 Spark 驱动程序正在使用默认配置，因此我将此--driver-memory 5g配置放入我的spark-submit jar 中，并解决了我的问题。

就我而言只是这样。