apache-spark - 如何在 Windows 上以独立模式设置 Spark log4j 路径？

Question

我已经尝试在 hadoop-home/conf 中将 log4j.properties.template 更改为 log4j.properties，但 spark 仍然无法识别它。我试过设置

sparkconf.set("log4j.configuration", ".\\config\\log4j.properties");

但这也行不通。我也尝试添加

-Dlog4j.configuration=.\config\log4j.properties

到 eclipse 运行配置但不起作用。 Spark 在启动期间仍然使用其默认值

Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties

我还将 SPARK_CONF_DIR 设置为我的环境变量以指向 spark/conf 目录，但这似乎也不起作用。

我在 eclipse 中以 Windows 独立模式运行它

SparkConf sparkConf = new SparkConf().setAppName("Test").setMaster("local[1]")
                .set("log4j.configuration", ".\\config\\log4j.properties");

Answer 1

我遇到过类似的问题

sparkconf.set("log4j.configuration", "path to log4j.properties");

解决方法是使用

import org.apache.log4j.PropertyConfigurator

PropertyConfigurator.configure("path to log4j.properties")