java - pyspark无法启动

Question

我使用的是 Windows 8.1 操作系统。我安装了 apache Spark，然后安装了 Java JDK。我在 Windows 中使用 git bash 。我的 git bash 的 .bash_profile 中有以下设置。

export SPARK_HOME="/c/tools/spark-2.3.1-bin-hadoop2.7" 
export PATH="$SPARK_HOME/bin:$PATH"  
export JAVA_HOME="/c/Program Files (x86)/Java/jdk1.8.0_181/"

当我尝试调用pyspark时，我收到如下错误。

/c/tools/spark-2.3.1-bin-hadoop2.7/bin/pyspark: line 45: python: command not found Error: Could not find or load main class org.apache.spark.launcher.Main

我尝试在路径“/c/tools/spark-2.3.1-bin-hadoop2.7/bin/”中运行spark-shell。仍然遇到同样的错误。

请帮助我让 pyspark 在我的机器上运行。

Answer 1

按照博客中的步骤，我终于能够让 pyspark 在 Windows 中工作

http://nishutayaltech.blogspot.com/2015/04/how-to-run-apache-spark-on-windows7-in.html

我必须安装更多工具并设置环境变量才能最终使其正常工作。