apache-spark - 如何让 Spark Web UI 保持活力？

Question

Spark提交执行结束后，Spark Web UI被终止。有办法让它活下去吗？

我使用的是 Spark 1.2.1。

Answer 1

添加一个新手友好的关于如何使用历史服务器的分步解决方案:

• 在 Spark 分发文件夹中尝试通过以下方式启动历史服务器:

  ./sbin/start-history-server.sh

  默认情况下，历史服务器将尝试监视 /tmp/spark-events 的日志，不幸的是，如果该路径不存在，它将崩溃。因此，如果您收到错误，您可能必须首先mkdir/tmp/spark-events。您可以在./logs中查看历史服务器日志，以在出现问题时查看详细信息。

• 为了让上下文保留其事件日志，您必须启用事件日志记录。这可以通过编程方式或通过编辑 ./conf/spark-defaults.conf(如果尚不存在则复制模板)并取消注释/添加以下行来完成:

  spark.eventLog.enabled true

  运行 spark-submit 应该会生成事件日志文件夹，例如 /tmp/spark-events/local-1465133722470。

• 访问历史服务器 UI，通常从 http://localhost:18080