gpt4 book ai didi

hadoop - 如何确定要在-w参数中设置的giraph的 worker 人数?

转载 作者:行者123 更新时间:2023-12-02 20:33:33 28 4
gpt4 key购买 nike

我正在使用由20个c3.8xlarge机器组成的ec2 hadoop群集,每台机器具有60 GB RAM和32个虚拟CPU。
在每台机器上,我都按https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-hadoop-task-config.html所示设置了yarn和mapreduce设置,即如下所示:

c3.8xlarge
Configuration Option Default Value
mapreduce.map.java.opts -Xmx1331m
mapreduce.reduce.java.opts -Xmx2662m
mapreduce.map.memory.mb 1664
mapreduce.reduce.memory.mb 3328
yarn.app.mapreduce.am.resource.mb 3328
yarn.scheduler.minimum-allocation-mb 32
yarn.scheduler.maximum-allocation-mb 53248
yarn.nodemanager.resource.memory-mb 53248

现在,我必须使用什么标准来确定最适合使用giraph的 worker 数量?即-w参数必须使用什么数字?该标准与上述设置有关吗?

最佳答案

没有最佳数字,但是可以大致计算出最多并行工作的对象。

每个NodeManager都有53248 MB,再乘以您的从节点数

从中减去一个am.resource.mb数量,因为所有作业都需要一个应用程序主控。

然后将其除以您的映射器或还原器中较大的一个,即可得到可以同时运行的MapReduce任务的总数

关于hadoop - 如何确定要在-w参数中设置的giraph的 worker 人数?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/52140886/

28 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com