scala - 单个 Windows 机器上的多个 Spark Worker

Question

我正在尝试在 Windows 上使用 Intellij 通过 Scala 自学 Spark。我在一台机器上做这个，我想在一台机器上启动多个工作人员来模拟一个集群。我读了 this page它说的地方

“启动脚本目前不支持 Windows。要在 Windows 上运行 Spark 集群，请手动启动 master 和 worker。”

不知道手动启动master和worker是什么意思。有人可以帮忙吗？非常感谢任何帮助/建议。

Answer 1

要手动启动 Spark Master，请从 %SPARK_HOME%\bin 运行以下命令

spark-class org.apache.spark.deploy.master.Master

上面的命令还将打印主 URL，如 spark://ip:port
可以通过 localhost:8080 访问主 UI

要启动 Spark Worker，请运行

spark-class org.apache.spark.deploy.worker.Worker spark://ip:port

现在，如果您刷新 Master UI，您可以看到在 Workers 部分下列出了新的 worker。
重复该命令以将多个 worker 添加到同一个 master。