scala - Web UI(http://localhost:8088)未显示Spark应用程序

Question

我的笔记本电脑中有伪分布式hadoop 2.2.0环境设置，我可以运行mapreduce应用程序(包括Pig和Hive作业)，并且可以从Web UI http://localhost:8088中查看应用程序的状态

我已经下载了Spark库，并仅将文件系统HDFS用于spark应用程序。当我启动spark应用程序时，它正在启动，并且执行也按预期成功完成。

但是，Web UI http://localhost:8088并未列出已完成/启动的Spark应用程序。

请建议是否需要其他配置才能在Web UI中查看Spark应用程序。

(注意:尝试通过Spark应用程序将文件写入HDFS时，此Web UI的http://localhost:50070正确显示了文件)

Answer 1

您可能已经知道了，但对于其他使用Spark的人来说，您可以看到所有的Spark工作

http://localhost:4040

在启动 Spark 上下文之后(端口可以不同，例如4041)。基于独立安装，您可以在

http://localhost:8080

(对于从端口通常是8081起)。您需要将作业Spark提交给yarn-cluster或客户端，才能在hadoop Web服务上看到相同的内容。