gpt4 book ai didi

java - Spark安装与log4j冲突

转载 作者:行者123 更新时间:2023-12-02 20:16:55 24 4
gpt4 key购买 nike

我正在构建一个运行不同批处理流程的批处理引擎。对于其中一些过程,我不需要使用Spark。为此,我使用一个阴影插件来构建一个“ super ” jar,其中包含jar中的所有依赖项。
当我必须运行需要Spark的流程之一时,我可以运行spark Submit命令。但是jar中的Log4j与我服务器上的Spark安装冲突。我该如何解决?

SPARK_MAJOR_VERSION is set to 2, using Spark2
Exception in thread "main" java.lang.IllegalArgumentException: LoggerFactory is not a Logback LoggerContext but Logback is on the classpath. Either remove Logback or the competing implementation (class org.slf4j.impl.Log4jLoggerFactory loaded from file:/usr/hdp/2.6.5.1217-7/spark2/jars/slf4j-log4j12-1.7.16.jar). If you are using WebLogic you will need to add 'org.slf4j' to prefer-application-packages in WEB-INF/weblogic.xml: org.slf4j.impl.Log4jLoggerFactory

最佳答案

在两个子项目上拆分项目-一个带有用于Spark的代码,另一个用于其他目的。

关于java - Spark安装与log4j冲突,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/62942340/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com