gpt4 book ai didi

apache-spark - Spark - 动态改变内存分数

转载 作者:行者123 更新时间:2023-12-04 04:45:16 24 4
gpt4 key购买 nike

我有一个 Spark 作业,前半部分需要大量执行程序内存,后半部分需要大部分用户内存。有什么方法可以在运行时动态更改 Spark 内存分数吗?

最佳答案

简而言之:spark.* 配置选项无法在运行时更改。

更长:应该没有必要。如果您使用最近的 Spark(1.6 或更高版本),内存设置将被弃用。您可以设置 spark.memory.useLegacyMode,Spark 会完成剩下的工作。

关于apache-spark - Spark - 动态改变内存分数,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/40234911/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com