java - 星火Java : Specify dependency jars in SparkLauncher

Question

我正在尝试使用 SparkLauncher 运行 spark 作业。我的 spark 应用程序 jar 不是 fat jar，它依赖于很多其他第 3 方 jar，有没有办法在 SparkLauncher 中指定依赖 jar？

Answer 1

使用addJar，见 https://spark.apache.org/docs/latest/api/java/org/apache/spark/launcher/SparkLauncher.html#addJar(java.lang.String)

Process spark = new SparkLauncher()
            .addJar("/path/to/local/jar/file1.jar")
            .addJar("/path/to/local/jar/file2.jar")

在这种情况下将分发 jar 文件。

或者将它们添加到 DRIVER_EXTRA_CLASSPATH 和 EXECUTOR_EXTRA_CLASSPATH (但依赖项需要手动分发或需要位于共享文件夹中，每个工作人员都可以访问该文件夹).

Process spark = new SparkLauncher()
            .setConf(SparkLauncher.DRIVER_EXTRA_CLASSPATH, "/path/to/jar/file.jar")
            .setConf(SparkLauncher.EXECUTOR_EXTRA_CLASSPATH, "/path/to/jar/file.jar")

您还可以通过在类路径中包含所有文件来包含多个 jar 文件:

Process spark = new SparkLauncher()
            .setConf(SparkLauncher.DRIVER_EXTRA_CLASSPATH, "/path/to/jar/*")
            .setConf(SparkLauncher.EXECUTOR_EXTRA_CLASSPATH, "/path/to/jar/*")