apache-spark - 我们在yarn cluster中运行时在哪里可以看到spark输出控制台

Question

我是 Spark、Hadoop 和 Yarn 的初学者。我用以下命令安装 Spark:https://spark.apache.org/docs/2.3.0/和 Hadoop/ yarn : https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html .我的目标是在 yarn cluster 上运行 spark 应用程序，但我遇到了问题。我们怎么知道我们的设置何时工作？我会告诉你我的例子。完成设置后，我尝试运行测试 jar:examples/jars/spark-examples*.jar。当我在本地运行 spark 时:./bin/spark-submit --class org.apache.spark.examples.SparkPi ,我在某一时刻看到了这一行:“Pi 大约是 3.1370956854784273”，而当我想在 yarn cluster 上运行时:./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode cluster examples/jars/spark-examples*.jar 我没有看到“Pi 大约是 3.1370956854784273”在控制台中，我不知道在哪里可以找到它。我在 Url http://localhost:8088/cluster/cluster 中查看日志但它没有出现。你知道我应该看哪里吗？感谢您的帮助，祝您有愉快的一天。

Answer 1

您可以使用相同的 View 使用资源管理器和应用程序 ID或者通过使用以下命令，您将获得应用程序的整个日志使用
yarn logs -applicationId 应用程序 ID