apache-spark - 启动 Spark Shell 抛出 ClassNotFoundException

Question

我正在尝试使用 ./bin/pyspark 从目录启动 python 的 spark shell

当我运行命令时，出现以下错误:

Exception in thread "main" java.lang.NoClassDefFoundError:    org/apache/spark/launcher/Main
Caused by: java.lang.ClassNotFoundException: org.apache.spark.launcher.Main
    at java.net.URLClassLoader$1.run(URLClassLoader.java:202)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:306)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:247)

看来我失踪了:org.apache.spark.launcher.main

我不太确定如何解决这个问题，想知道是否有人有任何建议或遇到过类似的问题。

谢谢

Answer 1

我也遇到了这个问题(在我的 Mac 上)。

我按照此页面中的步骤操作:
https://stackoverflow.com/a/14875241/5478610
并且能够克服这个错误。

我认为问题在于，即使我在 Mac 上安装了 Java 8，当我从命令行运行时，它仍在调用 Java 6。

带有类的 jar 文件(在 ./lib/spark-assembly-1.5.1-hadoop2.6.0.jar 中)无法用 Java 6 打开。但是一旦我更新了我的链接，以便从终端调用 java使用 Java 8，我能够调出 pyspark。