apache-spark - (Zeppelin + Livy)SparkUI.appUIAddress()，一定有问题

Question

我正在尝试根据此文档使用Zeppelin配置livy:
https://zeppelin.apache.org/docs/0.7.3/interpreter/livy.html

但是，当我运行时:

%livy.spark
sc.version

我收到以下错误:

java.lang.RuntimeException: No result can be extracted from 'java.lang.NoSuchMethodException: org.apache.spark.ui.SparkUI.appUIAddress()', something must be wrong

我使用Zeppelin 0.7.3，Spark 2.2.1和Livy 0.4.0。
Spark在YARN(hadoop 2.9.0)上运行。这是原始安装，我不使用cloudera / HDP之类的发行版。所有这些软件都在一台服务器上运行。

我可以使用--master yarn 在spark-shell中运行示例org.apache.spark.examples.SparkPi，没有任何问题。因此，我确认Spark在YARN上运行良好。

任何帮助，将不胜感激。

谢谢，
yusata。

Answer 1

此问题是由spark 2.2中的方法折旧导致的。appUiAddress在spark 2.2中不再存在。

如您在此PR https://github.com/apache/zeppelin/pull/2231中所见。
这个问题已经解决。

您仍然以某种方式仍然遇到问题。我认为，降级Spark或使用Zeppelin的较新版本都可以解决问题。