apache-spark - 我可以将具有 log4j.appender.file.File 的 dataproc 的 log4j.properties 文件作为 gcs 路径吗？

Question

我想将我的自定义应用程序日志存储到 GCS 文件夹。

我当前的 log4j.properties 如下所示:

# Set everything to be logged to the console
log4j.rootCategory=WARN, console

# define console appender
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.out
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n

#application log
log4j.logger.surya.pyspark.poc=INFO, console, file
log4j.additivity.surya.pyspark.poc=false

#define rolling file appender
log4j.appender.file=org.apache.log4j.RollingFileAppender
log4j.appender.file.File=gs://dataproc-gs/surya/surya_app_logs.log

如果我给出这样的路径...它不会存储在 GCS 中。有什么建议吗..？

我还尝试在 spark-submit 属性中提供 spark.driver.extraJavaOptions。但仍然无法正常工作。

Answer 1

不，log4j 不支持将 HDFS 或 GCS 作为附加程序，但您可以为其实现自定义附加程序，请参阅 1 .