gpt4 book ai didi

apache-spark - 为不同的工作节点设置不同的执行器内存限制

转载 作者:行者123 更新时间:2023-12-04 05:31:49 24 4
gpt4 key购买 nike

我在独立部署模式下使用 spark 1.5.2 并使用脚本启动。执行器内存通过 conf/spark-defaults.conf 中的“spark.executor.memory”设置。这为所有工作节点设置了相同的内存限制。我想让它可以为不同的节点设置不同的限制。我该怎么做?

(星火 1.5.2,ubuntu 14.04)

谢谢,

最佳答案

我不认为有任何方法可以让执行器大小不一。您可以限制工作节点的大小,但这实际上限制了工作节点可以在该机器上分配的内存总量。

当您运行您的应用程序时,您只能在应用程序级别指定 spark.executor.memory,它请求每个工作程序每个执行程序的内存。

如果您遇到大小不一的盒子,您可以将 SPARK_WORKER_MEMORY 设置为较小的数量,然后在较大的盒子上设置 SPARK_WORKER_INSTANCES = 2,在较小的盒子上设置 SPARK_WORKER_INSTANCES = 1。在这个例子中,我们假设你的大盒子是小盒子的两倍大。然后你最终会使用大盒子上的所有内存和小盒子上的所有内存,因为大盒子上的执行器数量是原来的两倍。

关于apache-spark - 为不同的工作节点设置不同的执行器内存限制,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/34875550/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com