azure - 无法从 HDInsight 群集上的 Spark UI 访问日志

Question

我已经部署了一个安装了 Spark 2.1 的新 HDInsight 3.6 群集。我之前使用过带有 Spark 1.6 的 HDInsight 3.5 群集。

在这个新集群上，我无法从 Spark UI 访问执行程序日志。通常，在我之前的 (3.5/1.6) 集群中，我会转到 Executors 选项卡，然后单击 stderr 以获取来自单个执行程序的 stdout 日志。

什么配置可能导致此问题，或者是否有解决方法？如果有影响的话，我正在提交一个 pyspark 应用程序。谢谢!

Answer 1

我们最近遇到了同样的问题，我们通过 SSH 使用以下命令将日志下载到文件系统:

yarn logs -applicationId <Application ID> -out <path_to_local_folder>

更多信息here .

然后我们使用 WinSCP 从虚拟机下载日志并在那里进行分析。

这是 WinSCP 的样子:

WinSCP

WinSCP - Containers

下载这些文件，也许可以拆分它们，然后您可以分析它们。