apache-spark - 无法启动 Spark 历史服务器

Question

我在 yarn 簇上运行 Spark 。我试图启动历史服务器

./start-history-server.sh

但出现以下错误。

starting org.apache.spark.deploy.history.HistoryServer, logging to /home/abc/spark/spark-1.5.1-bin-hadoop2.6/sbin/../logs/spark-abc-org.apache.spark.deploy.history.HistoryServer-1-abc-Efg.out
failed to launch org.apache.spark.deploy.history.HistoryServer:
at org.apache.spark.deploy.history.FsHistoryProvider.<init>(FsHistoryProvider.scala:47)
... 6 more
full log in /home/abc/spark/spark-1.5.1-bin-hadoop2.6/sbin/../logs/spark-abc-org.apache.spark.deploy.history.HistoryServer-1-abc-Efg.out

我已将 spark.eventLog.enabled = true 和 spark.history.fs.logDirectory 和 spark.eventLog.dir 设置为 hdfs 日志记录目录。

为什么我无法启动历史服务器？

更新 1:

谢谢stf告诉我查看日志文件；我不知道它存在!

我意识到我的问题出在 中的设置中spark-env.sh

 export SPARK_HISTORY_OPTS="-Dspark.eventLog.enabled=true -Dspark.eventLog.dir=hdfs:///localhost/eventLogging spark.history.fs.logDirectory=hdfs:///localhost/eventLogging"

正斜杠变成点

 Error: Could not find or load main class spark.history.fs.logDirectory=hdfs:...localhost.eventLogging

知道如何防止这种情况发生吗？

更新 2:
在 stf 的帮助下解决了这个问题。 spark-env.sh 中的正确设置是

 SPARK_HISTORY_OPTS="$SPARK_HISTORY_OPTS -Dspark.eventLog.enabled=true -Dspark.eventLog.dir=hdfs://localhost/eventLogging -Dspark.history.fs.logDirectory=hdfs://localhost/eventLogging"

Answer 1

对于那些仍然收到此错误并且评论讨论没有帮助的人。以下为我解决了这个问题。确保您在 spark/conf/spark-defaults.conf 中有以下内容

spark.eventLog.enabled          true
spark.eventLog.dir              /path/to/spark/logs
spark.history.fs.logDirectory   /path/to/spark/logs

然后运行 ​​ spark/sbin/start-history-server.sh /path/to/spark/logs