java - Apache Spark : spark-submit gives java. lang.InknownClassChangeError 异常

Question

我是 apache Spark 的新手，正在尝试使用它。我已经解压了spark-1.1.0-bin-hadoop2.3，因为它是预构建的版本，所以我不必再次构建它。

接下来我要做的是安装maven，在PATH变量中配置maven。

然后我创建了一个类似于 this 的独立 java 应用程序并使用 maven 使用以下命令运行它:

$ mvn package
$ mvn exec:java -Dexec.mainClass="SimpleApp"

它工作得很好，我也得到了输出。

然后我尝试使用spark-submit实用程序运行应用程序并运行以下命令

$ mvn package
$ YOUR_SPARK_HOME/bin/spark-submit --class "SimpleApp" --master local[4] target/simple-project-1.0.jar

尽管第一个命令完美地构建了它，但运行第二个命令会给我这个错误:

 Exception in thread "main" java.lang.IncompatibleClassChangeError: class SimpleApp$1 has interface org.apache.spark.api.java.function.Function as super class
    at java.lang.ClassLoader.defineClass1(Native Method)
    at java.lang.ClassLoader.defineClass(ClassLoader.java:800)
    at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
    at java.net.URLClassLoader.defineClass(URLClassLoader.java:449)
    at java.net.URLClassLoader.access$100(URLClassLoader.java:71)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:361)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
    at SimpleApp.main(SimpleApp.java:17)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606)
    at org.apache.spark.deploy.SparkSubmit$.launch(SparkSubmit.scala:328)
    at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:75)
    at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

这是 Java 应用程序的 pom.xml

<project  xmlns="http://maven.apache.org/POM/4.0.0" 
 xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" 
 xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 
 http://maven.apache.org/xsd/maven-4.0.0.xsd">
      <groupId>edu.berkeley</groupId>
      <artifactId>simple-project</artifactId>
      <modelVersion>4.0.0</modelVersion>
      <name>Simple Project</name>
      <packaging>jar</packaging>
      <version>1.0</version>
      <repositories>
         <repository>
            <id>Akka repository</id>
            <url>http://repo.akka.io/releases</url>
         </repository>
      </repositories>
      <dependencies>
          <dependency> <!-- Spark dependency -->
              <groupId>org.apache.spark</groupId>
              <artifactId>spark-core_2.10</artifactId>
              <version>1.1.0</version>
          </dependency>
       </dependencies>
  </project>

请帮我找出问题的原因以及如何解决。我这里缺少任何步骤吗？

问候，苏布汉卡尔

Answer 1

我遇到了类似的问题，但版本为 0.9.1

<version>0.9.1</version>

刚刚将 pom.xml 中的版本更改为 1.3 并修复了该问题。

<version>1.3.0</version>

要考虑的另一件事是转到 Maven 存储库

cd ~/.m2/repository 
cd org/apache
rm -rf ./spark

返回项目目录并运行

mvn clean package

这将再次获取依赖项并重建 jar 文件