apache-spark - Apache Spark : setting spark. eventLog.enabled 和 Spark.eventLog.dir 在提交或 Spark 启动时

Question

我想在 spark-submit 或 start 处设置 spark.eventLog.enabled 和 spark.eventLog.dir -all level -- 不要求在 scala/java/python 代码中启用它。我尝试了各种方法但没有成功:

将spark-defaults.conf设置为

spark.eventLog.enabled           true
spark.eventLog.dir               hdfs://namenode:8021/directory

或

spark.eventLog.enabled           true
spark.eventLog.dir               file:///some/where

运行spark-submit:

spark-submit --conf "spark.eventLog.enabled=true" --conf "spark.eventLog.dir=file:///tmp/test" --master spark://server:7077 examples/src/main/python/pi.py

使用环境变量启动spark:

SPARK_DAEMON_JAVA_OPTS="-Dspark.eventLog.enabled=true -Dspark.history.fs.logDirectory=$sparkHistoryDir -Dspark.history.provider=org.apache.spark.deploy.history.FsHistoryProvider -Dspark.history.fs.cleaner.enabled=true -Dspark.history.fs.cleaner.interval=2d"

只是为了矫枉过正:

SPARK_HISTORY_OPTS="-Dspark.eventLog.enabled=true -Dspark.history.fs.logDirectory=$sparkHistoryDir -Dspark.history.provider=org.apache.spark.deploy.history.FsHistoryProvider -Dspark.history.fs.cleaner.enabled=true -Dspark.history.fs.cleaner.interval=2d"

这些东西必须在哪里以及如何设置才能获取任意作业的历史记录？

Answer 1

我解决了这个问题，但奇怪的是我以前尝试过这个......尽管如此，现在它似乎是一个稳定的解决方案:

在HDFS中创建一个用于日志记录的目录，例如/eventLogging

hdfs dfs -mkdir /eventLogging

然后 spark-shell 或 spark-submit (或其他)可以使用以下选项运行:

--conf spark.eventLog.enabled=true --conf spark.eventLog.dir=hdfs://<hdfsNameNodeAddress>:8020/eventLogging

如:

spark-shell --conf spark.eventLog.enabled=true --conf spark.eventLog.dir=hdfs://<hdfsNameNodeAddress>:8020/eventLogging