apache-spark - 在 Windows 中启动 Spark 的 master 失败

Question

与 Failed to start master for spark in windows 10 相同的问题这也没有解决。

通过测试 pyspark.cmd 和 spark-shell.cmd，我的 spark 运行良好

运行后.\sbin\start-master.sh我有:

ps: unknown option -- o
Try 'ps --help' for more information.
starting org.apache.spark.deploy.master.Master, logging to C:\spark-1.6.1-bin-hadoop2.6/logs/spark--org.apache.spark.deploy.master.Master-1-%MY_USER_NAME%-PC.out
ps: unknown option -- o
Try 'ps --help' for more information.
failed to launch org.apache.spark.deploy.master.Master:
  ========================================
  Picked up _JAVA_OPTIONS: -Xmx512M -Xms512M
full log in C:\spark-1.6.1-bin-hadoop2.6/logs/spark--org.apache.spark.deploy.master.Master-1-%MY_USER_NAME%-PC.out

我尝试访问 Web UI，而 localhost:4040 正在工作，无法访问 localhost:8080。

我发现在 %SPARK_HOME%/logs 文件夹中创建了 .log 文件。它们包含相同的内容:

Spark 命令:

C:\Program Files\Java\jdk1.7.0_79\bin\java -cp C:\spark-1.6.1-bin-hadoop2.6/conf\;C:\spark-1.6.1-bin-hadoop2.6/lib/spark-assembly-1.6.1-hadoop2.6.0.jar;C:\spark-1.6.1-bin-hadoop2.6\lib\datanucleus-api-jdo-3.2.6.jar;C:\spark-1.6.1-bin-hadoop2.6\lib\datanucleus-core-3.2.10.jar;C:\spark-1.6.1-bin-hadoop2.6\lib\datanucleus-rdbms-3.2.9.jar -Xms1g -Xmx1g -XX:MaxPermSize=256m org.apache.spark.deploy.master.Master --ip hahaha-PC --port 7077 --webui-port 8080

========================================
Picked up _JAVA_OPTIONS: -Xmx512M -Xms512M

工作环境:
Spark :1.6.1
window 10

期待您的回复，非常感谢您的宝贵时间!

Answer 1

位于 %SPARK_HOME%\sbin 的启动脚本不支持 Windows。您需要手动运行 master 和 worker，如下所述。

转至 %SPARK_HOME%\bin命令提示符中的文件夹

运行spark-class org.apache.spark.deploy.master.Master运行主人。这将为您提供 spark://ip:port 形式的 URL

运行spark-class org.apache.spark.deploy.worker.Worker spark://ip:port运行 worker 。确保使用在步骤 2 中获得的 URL。

运行spark-shell --master spark://ip:port将应用程序连接到新创建的集群。