gpt4 book ai didi

apache-spark - 应用程序的 Apache Spark 自定义 log4j 配置

转载 作者:行者123 更新时间:2023-12-04 17:46:29 25 4
gpt4 key购买 nike

我想在独立的 Spark 集群中为我的应用程序自定义 Log4J 配置。我的应用程序 JAR 中有一个 log4j.xml 文件。让 Spark 使用该配置而不是它自己的 Log4J 配置的正确方法是什么?

我尝试使用 --conf 选项设置以下内容,但没有运气。

spark.executor.extraJavaOptions -> -Dlog4j.configuration=log4j.xml
spark.driver.extraJavaOptions -> -Dlog4j.configuration=log4j.xml

我使用的是 Spark 1.4.1,我的/conf 中没有 log4j.properties 文件。

最佳答案

如果您使用 SBT 作为包管理器/构建器:

有一个log4j.properties.template$SPARK_HOME/conf

  • 将其复制到您的 SBT 项目的 src/main/resource
  • 删除 .template后缀
  • 编辑它以满足您的需要
  • SBT run/package/* 将在 JAR 中包含它,Spark 会引用它。

  • 对我有用,并且可能包括其他包管理器的类似步骤,例如行家。

    关于apache-spark - 应用程序的 Apache Spark 自定义 log4j 配置,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/33262542/

    25 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com