gpt4 book ai didi

java - 我可以在运行时更改 Spark 的执行程序内存吗?

转载 作者:可可西里 更新时间:2023-11-01 14:16:51 26 4
gpt4 key购买 nike

是否可以在 Spark 运行时更改执行程序内存的值?我想这样做的原因是,对于某些 map task ,我希望 yarn 调度程序将每个任务放在一个单独的节点上。通过将执行程序内存增加到接近节点的总内存,我确保它们分布在每个节点上。后来,我想在每个节点上运行多个任务,所以我会降低它们的执行程序内存。

最佳答案

不,你不能。

每个执行程序都在自己的 JVM 上启动,您无法在运行时更改 JVM 内存。请参阅引用:Setting JVM heap size at runtime

关于java - 我可以在运行时更改 Spark 的执行程序内存吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/31365853/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com