apache-spark - 在 yarn 集群模式下在 yarn 上运行 Spark : Where does the console output go?

Question

我跟着这个页面并在 yarn 集群模式下在 yarn 上运行了 SparkPi 示例应用程序。

http://spark.apache.org/docs/latest/running-on-yarn.html

我在最后没有看到程序的输出(在这种情况下是计算的结果)。当我在 yarn-client 模式(--master yarn-client)下运行它时，我看到这样的输出:

Pi is roughly 3.138796

在 yarn 簇模式下标准输出在哪里？

Answer 1

经过多次摸索，我在 spark-0.9.0 doc 中找到了这个.

Examine the output (replace $YARN_APP_ID in the following with the "application identifier" output by the previous command)(Note: YARN_APP_LOGS_DIR is usually /tmp/logs or $HADOOP_HOME/logs/userlogs depending on the Hadoop version.)

$ cat $YARN_APP_LOGS_DIR/$YARN_APP_ID/container*_000001/stdout

Pi is roughly 3.13794

我希望他们将此说明放入 1.1.0 documentation也是。