apache-spark - 主节点在 Spark 独立集群中的角色

Question

在 Spark 独立集群中，master(以 start_master.sh 脚本开始的节点)的角色究竟是什么？

我知道这是从 submit-job.sh 脚本接收作业的节点，但它在处理作业时的作用是什么？

我在 Web UI 中看到，它总是将作业交付给从站(以 start_slave.sh 开头的节点)并且不参与处理，对吗？在这种情况下，我是否还应该在与 master 相同的机器上运行脚本 start_slave.sh 以利用其资源(cpu 和内存)？

提前致谢。

Answer 1

Spark 在以下集群模式下运行:

本地

独立

金币

yarn

以上是为 Spark 应用程序提供资源的集群模式

Spark 独立模式是主从架构，我们有 Spark Master 和 Spark Workers。 Spark Master 运行在集群节点之一，Spark Workers 运行在集群的 Slave 节点上。

Spark Master (often written standalone Master) is the resource manager for the Spark Standalone cluster to allocate the resources (CPU, Memory, Disk etc...) among the Spark applications. The resources are used to run the Spark Driver and Executors.

Spark Workers 向 Spark Master 报告 Slave 节点上的资源信息。

[ Apache Spark ]