apache-spark - Spark webUI - 完成的应用详情页面

Question

我在具有 3 个节点的独立集群上使用 spark 1.1.0。

我想查看已完成应用程序的详细日志，所以我在我的程序中进行了设置:

set("spark.eventLog.enabled","true")
set("spark.eventLog.dir","file:/tmp/spark-events")

但是当我点击 webui 中的应用程序时，我得到了一个包含消息的页面:

Application history not found (app-20150126000651-0331) No event logs found for application xxx$ in file:/tmp/spark-events/xxx-1422227211500. Did you specify the correct logging directory?

尽管该目录存在并包含 3 个文件:

APPLICATION_COMPLETE*、EVENT_LOG_1* 和 SPARK_VERSION_1.1.0*

有什么解决问题的建议吗？

谢谢。

Answer 1

1. 为什么你的应用名称是xxx$然后 xxx在你的错误信息中？这真的是 Spark 报告的内容吗？
2. 权限问题:检查您登录的目录对于运行 Spark 的用户是否可读和可执行(以及内部文件是否也是可读的)。
3. 检查您是否正确指定了 master，即 --master spark://<localhostname>:7077
4. 深入了解 EVENT_LOG_1*文件。文件的最后一个事件(在最后一行)应该是“应用程序完成”事件。如果没有，您的应用程序可能没有调用 sc.stop() ，尽管日志仍应显示。