java - apache zeppelin 抛出 NullPointerException 错误

Question

我是 zeppelin 的新手，正在尝试在我的系统上设置 zeppelin。到目前为止，我已经完成了以下步骤:

1. 从 here 下载飞艇
2. 在我的系统环境变量中设置 JAVA_HOME。
3. 转到 zeppelin-0.7.3-bin-all\bin 并运行 zeppelin.cmd
4. 能够在 http://localhost:8090 看到 zeppelin-ui

当我尝试运行 zeppelin tutotial -> Basic Features(spark) 中提到的 load data into table 程序时，它抛出以下错误

java.lang.NullPointerException
    at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:38)
    at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:33)
    at org.apache.zeppelin.spark.SparkInterpreter.createSparkContext_2(SparkInterpreter.java:398)
    at org.apache.zeppelin.spark.SparkInterpreter.createSparkContext(SparkInterpreter.java:387)
    at org.apache.zeppelin.spark.SparkInterpreter.getSparkContext(SparkInterpreter.java:146)
    at org.apache.zeppelin.spark.SparkInterpreter.open(SparkInterpreter.java:843)
    at org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:70)
    at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:491)
    at org.apache.zeppelin.scheduler.Job.run(Job.java:175)
    at org.apache.zeppelin.scheduler.FIFOScheduler$1.run(FIFOScheduler.java:139)
    at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
    at java.util.concurrent.FutureTask.run(FutureTask.java:266)
    at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180)
    at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
    at java.lang.Thread.run(Thread.java:745)

我可以在 zeppelin-ui 的输出中看到上面提到的错误日志，同时我的控制台 (cmd) 显示以下错误:

DEBUG [2018-01-11 10:55:30,059] ({Exec Stream Pumper} RemoteInterpreterManagedProcess.java[processLine]:206) - DEBUG [2018-01-11 10:55:30,059] ({pool-1-thread-3} Interpreter.java[getProperty]:165) - key: zeppelin.spark.concurrentSQL, value: false
 WARN [2018-01-11 10:55:30,061] ({pool-2-thread-2} NotebookServer.java[afterStatusChange]:2064) - Job 20150210-015259_1403135953 is finished, status: ERROR, exception: null, result: %text java.lang.NullPointerException
        at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:38)
        at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:33)
        at org.apache.zeppelin.spark.SparkInterpreter.createSparkContext_2(SparkInterpreter.java:398)
        at org.apache.zeppelin.spark.SparkInterpreter.createSparkContext(SparkInterpreter.java:387)
        at org.apache.zeppelin.spark.SparkInterpreter.getSparkContext(SparkInterpreter.java:146)
        at org.apache.zeppelin.spark.SparkInterpreter.open(SparkInterpreter.java:843)
        at org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:70)
        at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:491)
        at org.apache.zeppelin.scheduler.Job.run(Job.java:175)
        at org.apache.zeppelin.scheduler.FIFOScheduler$1.run(FIFOScheduler.java:139)
        at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
        at java.util.concurrent.FutureTask.run(FutureTask.java:266)
        at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180)
        at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
        at java.lang.Thread.run(Thread.java:745)

有什么我遗漏的或与 Spark 有关的东西吗？因为我假设齐柏林飞艇会处理 Spark ，我们不必设置 Spark 。在此先感谢您对我的帮助!

Answer 1

首先，我会确保 spark 通常在运行。

你试过运行一个新的“spark notebook”吗？

1. 创建新笔记本
2. 选择 spark 作为默认解释器
3. 只运行一个带有“sc”的段落

它尝试初始化一个 sparkcontext。当它工作时我们很好，我们需要检查您正在使用的段落中使用的选项和语法。

如果它没有运行，我会使用以下变量检查/设置 zeppelin-env.cmd:

• SPARK_HOME
• JAVA_HOME
• HADOOP_CONF_DIR(如果使用 hadoop)

如果您没有在 Windows 上设置 spark，则它无法工作。

1. 下载你喜欢使用的spark版本https://spark.apache.org/downloads.html

2. 将其解压缩到您选择的文件夹中(例如 windows c:/hadoop/sparkVERSION)

如果所有这些步骤都不起作用，请向我展示您尝试运行的输出和代码。

BR

更新以下帖子准确描述了如何在 Windows 上设置 zeppelin 以运行教程。

https://hernandezpaul.wordpress.com/2016/11/14/apache-zeppelin-installation-on-windows-10/

我刚刚在我的 Windows 机器上检查过它，它对我来说运行良好。