apache-spark - Spark History Server .... 正在运行的作业列表

Question

我正在使用 Cloudera 5.4.1 和 Spark 1.3.0。当我转到 spark history server 时，我可以看到已完成的作业列表和未完成的作业列表。

然而，许多被列为未完成的工作是被杀死的。

那么如何查看“正在运行”的作业列表。不是那些被杀的。

还有如何通过从历史服务器获取应用程序 ID 来终止正在运行的 spark 作业？

Answer 1

以下内容来自 Cloudera 文档:

要访问正在运行的 Spark 应用程序的 Web 应用程序 UI，请打开 http://spark_driver_host:4040在网络浏览器中。如果多个应用程序在同一台主机上运行，​​Web 应用程序将绑定(bind)到以 4040 开头的连续端口(4041、4042 等)。 Web 应用程序仅在应用程序期间可用。

For 5.4x For 5.9x

第二个问题的答案:您可以使用 yarn CLI 来终止 Spark 应用程序。例如:yarn application -kill <application ID>