multithreading - spark.task.cpus 和 --executor-cores 有什么区别

Question

在我的 mapPartition 部分，有多线程工作要做，我使用线程池并希望并行运行任务。但我无法区分这两个参数。
我想我可以设置 --executor-cores 到 5，我在我的任务中运行了 4 个线程。这是正确的吗？

Answer 1

spark.task.cpus是为每个任务分配的内核数和 --executor-cores指定每个执行程序的核心数。

正如 here 所解释的，执行程序和任务之间存在细微差别。 .

要了解每个内核可以运行多少个线程，请通过 this邮政。

根据链接:

创建 SparkContext 时，每个工作人员都会启动一个执行程序。这是一个单独的进程 (JVM)。执行程序连接回您的驱动程序。现在驱动程序可以向它们发送命令，例如 flatMap、map 和 reduceByKey，这些命令就是任务。

要了解每个内核运行的 CPU 支持的线程数 lscpu并检查 Thread(s) per core: 的值.