apache-spark - Spark 中每个内核的线程数

Question

我只是想澄清一些在 Spark 中使用线程时让我感到困惑的事情。

有人可以在 Spark 中确认:

1. Each Core can only run one thread or at least that a task slot correspond to one core and one core only and never a thread.

2. The case of the local mode is an exception. It uses available thread to simulate the available task slots in cluster mode.

Answer 1

Spark 中的核心是一个线程，可以分配给处理任务，这个含义在本地和分布式模式之间没有太大变化。

在实践中，Spark 将更多的线程用于任务处理以外的目的，包括但不限于:

• 处理心跳。
• Spark 用户界面。
• 广播。