hadoop - YARN 上的 Spark 中的日志在哪里？

Question

我是新手。现在我可以在 yarn (2.0.0-cdh4.2.1) 上运行 spark 0.9.1。但是执行后没有log。

以下命令用于运行 spark 示例。但是在正常的 MapReduce 作业中，在历史服务器中找不到日志。

SPARK_JAR=./assembly/target/scala-2.10/spark-assembly-0.9.1-hadoop2.0.0-cdh4.2.1.jar \
./bin/spark-class org.apache.spark.deploy.yarn.Client --jar ./spark-example-1.0.0.jar \
--class SimpleApp --args yarn-standalone  --num-workers 3 --master-memory 1g \
--worker-memory 1g --worker-cores 1

我在哪里可以找到日志/stderr/stdout？

有什么地方可以设置配置吗？我确实找到了控制台的输出:

14/04/14 18:51:52 INFO Client: Command for the ApplicationMaster: $JAVA_HOME/bin/java -server -Xmx640m -Djava.io.tmpdir=$PWD/tmp org.apache.spark.deploy.yarn.ApplicationMaster --class SimpleApp --jar ./spark-example-1.0.0.jar --args 'yarn-standalone' --worker-memory 1024 --worker-cores 1 --num-workers 3 1> <LOG_DIR>/stdout 2> <LOG_DIR>/stderr

在这一行中，注意 1> $LOG_DIR/stdout 2> $LOG_DIR/stderr

LOG_DIR可以设置在哪里？

Answer 1

可以通过命令访问日志

yarn logs -applicationId <application ID> [OPTIONS]

一般选项是:

• appOwner <Application Owner> - AppOwner(如果未指定，则假定为当前用户)
• containerId <Container ID> - ContainerId(如果节点必须指定地址已指定)
• nodeAddress <Node Address> - 格式为 nodename:port 的节点地址(如果指定容器id则必须指定)

例子:

yarn logs -applicationId application_1414530900704_0003                                      
yarn logs -applicationId application_1414530900704_0003 myuserid

// the user ids are different
yarn logs -applicationId <appid> -appOwner <userid>