java - 如何在本地模式下使用 Spark 来利用我的本地资源？

Question

我一直在使用 Apache Spark 编写一个桌面应用程序，它可以让您以交互方式篡改数据。我最近开始阅读“Learning Spark”，作者说在 local 模式下(当 master 设置为 local 时)Spark 只使用一个 Thread 。

如果我的计算机上没有成熟的 Spark 集群，我如何才能利用计算机中的所有内核？

我正在使用 Java/Kotlin。

Answer 1

它默认为一个，但您可以指定您喜欢的数量:

 val config = SparkConfig()
 config.setMaster("local[8]") // local, using 8 threads (you can vary the number)
 config.setAppName("qwerty")
 val context = SparkContext(config)