apache-spark - 在独立模式下在主节点上启动多个工作程序

Question

我有一台有 80 个内核的机器。我想在这台机器上以独立模式启动一个 Spark 服务器，有 8 个执行程序，每个执行程序有 10 个内核。但是，当我尝试在 master 上启动我的第二个 worker 时，出现错误。

$ ./sbin/start-master.sh
Starting org.apache.spark.deploy.master.Master, logging to ...
$ ./sbin/start-slave.sh spark://localhost:7077 -c 10
Starting org.apache.spark.deploy.worker.Worker, logging to ...
$ ./sbin/start-slave.sh spark://localhost:7077 -c 10
org.apache.spark.deploy.worker.Worker running as process 64606.  Stop it first.

在 documentation ，它明确指出“您可以启动一个或多个工作人员并通过以下方式将他们连接到主站: ./sbin/start-slave.sh <master-spark-URL>”。那为什么我不能这样做呢？

Answer 1

在单机中，它相当复杂，但您可以尝试使用 docker 或 Kubernetes。
为 Spark worker 创建多个 docker 容器。