multithreading - spark-submit : Difference between “--master local[n]” and “--master local --executor-cores m”

Question

我有一台双核计算机(每个核有2个线程)。我使用2个不同的spark-submit参数运行Spark作业。

spark-submit --master local[4]

spark-submit --master local --executor-cores 2

上面两个示例之间真的有区别吗？我试图让Spark为Spark“任务”使用4个线程，每个物理核心上2个线程。

Answer 1

首先，--executor-cores参数或spark.executor.cores配置选项不适用于本地模式。因此:

--master local[4]使用四个工作线程以本地模式启动Spark。

--master local使用一个工作线程以本地模式启动Spark。 --executor-core无效。

这仅说明“数据处理”线程。 Spark使用的线程总数可能会大得多。

如果您不打算使用操作系统和调度详细信息，那么第一个选择就是您要使用四个线程的情况。