apache-spark-sql - Spark SQL失败并出现java.lang.NoClassDefFoundError:org/codehaus/commons/compiler/UncheckedCompileException

Question

一旦在数据帧上调用第一个操作，立即在Java中运行Spark SQL（v2.1.0_2.11）程序会失败，但会出现以下异常：

java.lang.ClassNotFoundException: org.codehaus.commons.compiler.UncheckedCompileException

我在 spark-submit环境之外的Eclipse中运行了它。我使用以下Spark SQL Maven依赖项：

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-sql_2.11</artifactId>
    <version>2.1.0</version>
    <scope>provided</scope>
</dependency>

Answer 1

罪魁祸首是库commons-compiler。这是冲突：



要解决此问题，请将以下内容添加到您的pom.xml中：

<dependencyManagement>
    <dependencies>
        <dependency>
            <groupId>org.codehaus.janino</groupId>
            <artifactId>commons-compiler</artifactId>
            <version>2.7.8</version>
        </dependency>
    </dependencies>
</dependencyManagement>