gpt4 book ai didi

hadoop - 如何知道 Amazon EMR 实例的 MIN_CONTAINER_SIZE?

转载 作者:可可西里 更新时间:2023-11-01 15:30:41 25 4
gpt4 key购买 nike

如何在 Amazon EMR 集群上获取 MIN_CONTAINER_SIZE 的默认设置?因为我想通过这个公式来计算EMR上每个节点的内存使用情况

RAM-per-container = max(MIN_CONTAINER_SIZE, (Total Available RAM)/containers))

谢谢!

最佳答案

在 EMR 4.x 中,默认的最小容器大小为 256M。但是上限将受到每个实例类型的节点管理器可用内存的限制(http://docs.aws.amazon.com/ElasticMapReduce/latest/ReleaseGuide/emr-hadoop-task-config.html)。 256M 到上限的内存量则由应用程序自行决定,并且每个应用程序都是可配置的。

如果您分享有关内存/容器使用的总体目标,可以提供更多详细信息以最大限度地实现您想要的结果。

关于hadoop - 如何知道 Amazon EMR 实例的 MIN_CONTAINER_SIZE?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/33838577/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com