java - 如何在 spring-boot 多模块 Java 11 项目中添加 Spark 依赖项

Question

每当我在多模块项目中添加 module-info.java 时，我都无法导入 Spark 依赖项 - 其他一切似乎都正常工作

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2.12</artifactId>
    <version>3.0.0-preview2</version>
</dependency>
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-sql_2.12</artifactId>
    <version>3.0.0-preview2</version>
</dependency>

IntelliJ 尝试读取 Maven 依赖项，但没有任何结果。

我的模块信息如下所示:

module common {
    exports [...] 
    requires lombok;
    requires spring.data.jpa;
    requires spring.data.commons;
    requires org.apache.commons.lang3;
    requires spring.context;
    requires spring.web;
    requires spring.security.core;
    requires com.google.common;
    requires org.json;
    requires spring.core;
    requires spring.beans;
    requires com.fasterxml.jackson.core;
    requires com.fasterxml.jackson.databind;
    requires spring.jcl;
    requires spring.webmvc;
    requires mongo.java.driver;
    requires org.hibernate.orm.core;
    requires com.fasterxml.jackson.dataformat.csv;
    requires java.sql;
}

也不可能在我的 module-info.java 中添加 org.apache.* 。

Spark 是否有可能尚未为 Jigsaw 模块和 Java 9+ 做好准备？

Answer 1

Is it possible that spark is not ready for Jigsaw modules and Java 9+?

它确实适用于 spark。我可以保证的两个直接原因是:

1. 他们没有条目

   Automatic-Module-Name: <module-name> 
   

   在 Artifact 的 MANIFEST.MF 文件中。

2. 如果您尝试使用 jar 工具描述他们的 Artifact

   jar --describe-module --file=<complete-path>/spark-core_2.12-3.0.0-preview2.jar
   

   由于与 this answer. 中提到的类似原因，这将无法派生模块描述符。

<小时/>

到达此处后，可能会有一些有用的资源:

• The reason why deriving automatic module name fails for spark artifacts
• A way to update a jar manually with the MANIFEST entry
• Spark's progress to Build and Run on JDK-11