apache-spark - Spark-如何在本地运行独立集群

Question

是否可以仅在一台机器上本地运行Spark独立集群（这与仅在本地开发作业（即local[*]）基本不同）？

到目前为止，我正在运行2个不同的VM来构建集群，如果我可以在同一台计算机上运行一个独立的集群，例如运行三个不同的JVM，该怎么办？

拥有多个环回地址的方法可以解决问题吗？

Answer 1

是的，您可以做到，启动一个主节点和一个工作节点，一切顺利

发射大师

./sbin/start-master.sh

发射工

./bin/spark-class org.apache.spark.deploy.worker.Worker  spark://localhost:7077 -c 1 -m 512M

运行SparkPi示例

./bin/spark-submit  --class org.apache.spark.examples.SparkPi   --master spark://localhost:7077  lib/spark-examples-1.2.1-hadoop2.4.0.jar 

Apache Spark Standalone Mode Documentation