apache-spark - apache zeppelin : java. lang.NullPointerException

Question

在 zeppelin 中运行任何类型的命令时，我都会收到“java.lang.NullPointerException”错误 - 即使是像 sc.appName 这样简单的东西.全文如下:

java.lang.NullPointerException
    at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:38)
    at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:33)
    at org.apache.zeppelin.spark.SparkInterpreter.createSparkContext_2(SparkInterpreter.java:391)
    at org.apache.zeppelin.spark.SparkInterpreter.createSparkContext(SparkInterpreter.java:380)
    at org.apache.zeppelin.spark.SparkInterpreter.getSparkContext(SparkInterpreter.java:146)
    at org.apache.zeppelin.spark.SparkInterpreter.open(SparkInterpreter.java:828)
    at org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:70)
    at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:483)
    at org.apache.zeppelin.scheduler.Job.run(Job.java:175)
    at org.apache.zeppelin.scheduler.FIFOScheduler$1.run(FIFOScheduler.java:139)
    at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
    at java.util.concurrent.FutureTask.run(FutureTask.java:266)
    at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180)
    at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
    at java.lang.Thread.run(Thread.java:748)

该错误似乎与 Spark 有关，但我在 zeppelin-env.sh 中正确设置了位置:

export SPARK_HOME=/usr/local/spark

我修改的唯一其他字段如下:

export HADOOP_CONF_DIR=/home/cloudera/hadoop/etc/hadoop
export PYSPARK_PYTHON=/usr/bin/python
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/jre/

我的 hadoop 安装没有“conf”文件夹，但 yarn-site 文件位于指定的位置。我正在使用匿名登录，不确定这是否相关。我可以从命令行成功运行 Spark shell。我确实尝试四处搜索，因为这是一个很常见的错误，但似乎没有什么适合这种情况。如果需要，我还可以提供 zeppelin-env.sh 文件。在此先感谢您的帮助!

Answer 1

这个“有 Spark 的东西”触发了我所做的修复，所以我的集群现在可以工作了。在 Zeppelin 中没有配置 spark 工作，一旦我切换到我的集群配置，它就不再工作了。您拥有的所有版本都必须组合在一起，这就是

齐柏林飞艇 Spark 解释器

可能的 Zeppelin 本地 spark 安装(Zeppelin 的 SPARK_HOME 指向的位置)

远程spark master/cluster安装版本

否则，您会在 spark 端看到连接错误、反序列化错误等。 (至少，这是我的情况)。

在 Zeppelin 的解释器日志文件中，查找“Running Spark version”；这应该是实际使用的 spark 版本。我希望这有帮助!