windows - 在 Windows 上的 Git Bash 中设置 Spark-shell

Question

我在使用我的系统上的任何其他软件时都没有遇到过这个问题。能够在窗口终端/命令提示符和 Git-Bash 中安装和运行所有内容

最近，我开始学习 Spark。安装的 Spark 设置所有 JAVA_HOME、SCALA_HOME、hadoop winutils 文件。 Spark-shell 和 pyspark-shell 都在命令提示符/窗口终端和 Jupyter 中通过 pyspark lib 完美运行。

spark-3.0.1-bin-hadoop2.7
python 3.8.3
Windows 10 
git version 2.29.2.windows.2

但我无法为 Git Bash 找出它(尝试使用管理员权限)。当我尝试运行 spark-shell 或 pySpark 时出现此错误:

Error: Could not find or load main class org.apache.spark.launcher.Main
/c/Spark/spark-3.0.1-bin-hadoop2.7/bin/spark-class: line 96: CMD: bad array subscript

我搜索了解决方案，发现在 .bashrc 或 spark-env-sh 中设置了环境变量。为 pySpark 外壳设置以下内容:

   export JAVA_HOME='/c/Program Files/Java/jdk1.8.0_111'
   export SPARK_HOME='/c/Spark/spark-3.0.1-bin-hadoop2.7'
   export PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH
   export PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.10.9-src.zip:$PYTHONPATH
   export PYSPARK_PYTHON='C:/Users/raman/anaconda3/python'
   export PYSPARK_DRIVER_PYTHON='C:/Users/raman/anaconda3/python'

也没有成功。如果我追溯 spark 类文件中的错误。它是这样的: In line 96

我的问题，

1. 此错误的原因是什么？我该如何解决？
2. 是否有任何明确定义的步骤来在 Git Bash for Windows 中设置 spark-shell(无法在网上找到任何可靠的东西)？

谢谢。

Answer 1

尝试从 Git Bash 专门运行 spark-shell.cmd，例如$SPARK_HOME/bin/spark-shell.cmd。我的猜测是，当您从 Windows 终端调用 spark-shell 时，它会自动启动 spark-shell.cmd，这就是该命令从那里运行的原因。