amazon-web-services - 如何知道Amazon Emr集群上的mapred-site值？

Question

我遇到了内存问题，因此查询了以下参数的默认值:

mapreduce.map.memory.mb
mapreduce.reduce.memory.mb
mapreduce.map.java.opts

在Amazon文档中发现默认值很低。因此，我在创建EMR集群时添加了一个配置，如下所示:

classification=mapred-site,properties=[mapreduce.map.memory.mb=4096,mapreduce.reduce.memory.mb=4096,mapreduce.map.java.opts=-Xmx3072m]

并创建集群。现在，如何检查这些值是否确实更新？

Answer 1

您可以按照以下两种方法之一来查找mapreduce配置详细信息。

方法1:

登录到EMR的EC2实例

转到mapreduce配置路径(通常是/ etc / hadoop / conf)

打开mapred-site.xml并搜索您的属性。

方法2:

转到JobHistory UI(通常为http://history-server-hostname:19888/jobhistory)

遍历到工具->配置

方法3:

希望您也可以从Amazon EMR控制台查看所有分类。