gpt4 book ai didi

hadoop - Mesos是否覆盖Hadoop内存设置?

转载 作者:行者123 更新时间:2023-12-02 21:35:17 25 4
gpt4 key购买 nike

我的公司在mesos上运行hadoop,而我是mesos的新手。我所负责的hadoop应用程序当前的限制速率是化简器任务的速度,所以我希望尝试使用mesos和hadoop内存设置来加速化简器。

不幸的是,我不了解hadoop内存设置和mesos内存配置之间的关系,并且我怀疑mesos可能会覆盖我的某些hadoop内存设置。

更改mapreduce.reduce.java.opts或mapreduce.reduce.memory.mb(在/etc/hadoop/conf/mapred-site.xml中)的值是否受到mesos的影响? mesos是否会限制我可以分配给reducer的内存量?

如果是这样,mesos中的配置文件在哪里,以便我可以更改这些设置?

谢谢!

2015年9月30日更新:

https://github.com/mesos/hadoop/blob/master/configuration.md上的文件列出了可以放入mapred-site.xml文件中的参数。

我仍然不确定这些参数如何影响mapred-site.xml中与内存相关的hadoop配置参数。

最佳答案

该配置在相应的GitHub repo mesos/hadoop中进行了描述。

关于hadoop - Mesos是否覆盖Hadoop内存设置?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/32770548/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com