gpt4 book ai didi

scala - 如何在本地模式下更改执行程序的数量?

转载 作者:行者123 更新时间:2023-12-01 09:13:24 24 4
gpt4 key购买 nike

是否可以使用一些 Spark Conf 设置在本地模式下为 Spark Streaming 应用程序设置多个执行程序?
目前,例如,当我将 spark.executor.instances 参数更改为 4 时,我看不到 Spark UI 在性能或执行程序数量增加方面的任何变化。

最佳答案

本地模式是一种开发工具,所有组件都在一台机器上进行模拟。由于单个 JVM 意味着单个执行器改变执行器的数量是不可能的,而且 spark.executor.instances不适用。

尽在local模式是通过修改master URL来增加线程数-local[n]哪里n是线程数。

关于scala - 如何在本地模式下更改执行程序的数量?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/52188910/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com