scala - 将 Logback 中的应用程序日志与 log4j 中的 Spark 日志分开

Question

我有一个使用 Spark 的 Scala Maven 项目，我正在尝试使用 Logback 实现日志记录。我正在将我的应用程序编译为 jar，并部署到安装了 Spark 分发包的 EC2 实例。
我的 pom.xml 包含 Spark 和 Logback 的依赖项，如下所示:

        <dependency>
            <groupId>ch.qos.logback</groupId>
            <artifactId>logback-classic</artifactId>
            <version>1.1.7</version>
        </dependency>
        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>log4j-over-slf4j</artifactId>
            <version>1.7.7</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_${scala.binary.version}</artifactId>
            <version>${spark.version}</version>
            <exclusions>
                <exclusion>
                    <groupId>org.slf4j</groupId>
                    <artifactId>slf4j-log4j12</artifactId>
                </exclusion>
                <exclusion>
                    <groupId>log4j</groupId>
                    <artifactId>log4j</artifactId>
                </exclusion>
            </exclusions>
        </dependency>

当提交我的 Spark 应用程序时，我在命令行上打印出 slf4j 绑定(bind)。如果我使用 java 执行 jars 代码，则绑定(bind)到 Logback。但是，如果我使用 Spark(即 spark-submit)，则绑定(bind)到 log4j。

  val logger: Logger = LoggerFactory.getLogger(this.getClass)
  val sc: SparkContext = new SparkContext()
  val rdd = sc.textFile("myFile.txt")

  val slb: StaticLoggerBinder = StaticLoggerBinder.getSingleton
  System.out.println("Logger Instance: " + slb.getLoggerFactory)
  System.out.println("Logger Class Type: " + slb.getLoggerFactoryClassStr)

产量

Logger Instance: org.slf4j.impl.Log4jLoggerFactory@a64e035
Logger Class Type: org.slf4j.impl.Log4jLoggerFactory

据我了解， log4j-1.2.17.jar和 slf4j-log4j12-1.7.16.jar位于/usr/local/spark/jars 中，尽管我的 pom.xml 中排除了这些 jar，但 Spark 很可能引用了这些 jar，因为如果我删除它们，我会在 spark-submit 运行时收到 ClassNotFoundException。

我的问题是:有没有办法在我的应用程序中使用 Logback 实现 native 日志记录，同时保留 Spark 的内部日志记录功能。理想情况下，我想将我的 Logback 应用程序日志写入文件并允许 Spark 日志仍显示在 STDOUT 中。

Answer 1

经过一番努力，我找到了另一个解决方案:图书馆底纹 .
在我遮蔽后org.slf4j ，我的应用程序日志与 Spark 日志分开。此外，logback.xml在我的应用程序 jar 中很荣幸。
Here you can find information on library shading in sbt ，在这种情况下，归结为:

assemblyShadeRules in assembly += ShadeRule.rename("org.slf4j.**" -> "your_favourite_prefix.@0").inAll

在您的 build.sbt设置。

旁注 : 如果你不确定是否真的发生了阴影，在一些存档浏览器中打开你的 jar 并检查目录结构是否反射(reflect)了阴影，在这种情况下你的 jar 应该包含路径 /your_favourite_prefix/org/slf4j ，但不是 /org/slf4j