gpt4 book ai didi

apache-spark - 运行时的 Spark 配置更改

转载 作者:行者123 更新时间:2023-12-03 15:52:10 26 4
gpt4 key购买 nike

因此,询问是否有人知道在运行时更改 Spark 属性(例如 spark.executor.memory、spark.shuffle.spill.compress 等)的方法,以便更改可能在作业期间的任务/阶段之间生效。 .

所以我知道...

1) Spark 2.0+(以及之前版本)的文档指出,一旦创建了 Spark 上下文,就不能在运行时更改它。

2) SparkSession.conf.set 可能会更改 SQL 的一些内容,但我正在查看更一般的、包含所有配置的配置。

3)我可以在程序中使用新属性启动一个新上下文,但这里的情况是在作业已经执行后实际调整属性。

想法...

1) 杀死 Executor 会强制它再次读取配置文件,还是只是获取在工作开始时已经配置的内容?

2)是否有任何命令可以强制“刷新” Spark 上下文中的属性?

所以希望可能有一种方法或其他想法(提前致谢)......

最佳答案

不,不能更改设置,如 spark.executor.memory在运行时。

此外,在“快速切换到新上下文”的方向上可能没有太多很棒的技巧,因为 spark 的优势在于它可以拾取数据并继续前进。您本质上要求的是一个 map-reduce 框架。当然,您可以将您的工作重写为这种结构,并将工作划分为多个 Spark 工作,但是这样您将失去 Spark 带来的一些轻松和性能。 (虽然可能不是全部)。
如果您真的认为该请求在概念层面上有意义,您可以考虑提出功能请求。这可以通过您的 Spark 供应商,或直接通过 logging a Jira on the apache Spark project .

关于apache-spark - 运行时的 Spark 配置更改,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/39796586/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com