apache-spark - AWS EMR 上的自定义 log4j.properties

Question

我无法在 Amazon EMR 上覆盖和使用自定义 log4j.properties。我在 EMR (Yarn) 上运行 Spark，并在 Spark-Submit 中尝试了以下所有组合来尝试使用自定义 log4j。

--driver-java-options "-Dlog4j.configuration=hdfs://host:port/user/hadoop/log4j.properties"

--conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=hdfs://host:port/user/hadoop/log4j.properties"

我还尝试使用 file:////而不是 hdfs 从本地文件系统中进行选择。这些似乎都不起作用。但是，在本地 Yarn 设置上运行时，我可以使其正常工作。

有任何想法吗？

Answer 1

基本上，在与支持人员交谈并阅读文档后，我发现有 2 个选项可以执行此操作:

1 - 通过 log4j.properties通过在启动 EMR 时传递的配置。乔纳森在他的回答中提到了这一点。

2 - 包括 --files /path/to/log4j.properties切换到您的 spark-submit命令。这将分发 log4j.properties文件到每个 Spark Executor 的工作目录，然后更改您的 -Dlog4jconfiguration仅指向文件名:"spark.driver.extraJavaOptions=-Dlog4j.configuration=log4j.properties"