hadoop - Spark setAppName 未出现在 Hadoop 运行应用程序 UI 中

Question

我正在运行一个 Spark Streaming 作业，当我为我的 Spark Streaming 作业设置应用程序名称(一个更易读的字符串)时，它没有出现在 Hadoop 运行应用程序 UI 中。我总是看到类名作为 Hadoop UI 中的名称

val sparkConf = new SparkConf().setAppName("BetterName")

如何在 Spark 中设置作业名称，使其出现在这个 Hadoop UI 中？

运行应用程序的 Hadoop URL 是 - http://localhost:8088/cluster/apps/RUNNING

[更新]看起来这只是 Spark Streaming 作业的问题，但找不到解决方法。

Answer 1

当通过 spark-submit 提交作业时，创建的 SparkContext 无法设置应用程序的名称，因为 YARN 在 Spark 之前已经为作业配置好了。要在 Hadoop 运行作业 UI 中显示应用程序名称，您必须在命令行中为 spark-submit“--name BetterName”设置它。我使用调用 spark-submit 的 shell 脚本开始我的工作，因此将名称添加到我的 shell 脚本中的命令。