java - 线程 “main” java.lang.NoClassDefFoundError中的异常:org/apache/spark/internal/Logging-6ren

java - 线程 “main” java.lang.NoClassDefFoundError中的异常:org/apache/spark/internal/Logging

转载作者：行者123 更新时间：2023-12-02 21:58:44

我的Spark使用者失败，出现“记录”错误。我在浏览时发现错误是由于jar的不兼容。
我正在使用Spark 1.6.3，并且所有依赖项都在pom，xml中使用了1.6.3。我仍然遇到相同的错误。下面是我的Maven结构和执行时抛出的错误。

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/internal/Logging
    at java.lang.ClassLoader.defineClass1(Native Method)
    at java.lang.ClassLoader.defineClass(ClassLoader.java:763)
    at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
    at java.net.URLClassLoader.defineClass(URLClassLoader.java:467)
    at java.net.URLClassLoader.access$100(URLClassLoader.java:73)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:368)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:362)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:361)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
    at org.apache.spark.streaming.kafka.KafkaUtils$.createStream(KafkaUtils.scala:91)
    at org.apache.spark.streaming.kafka.KafkaUtils$.createStream(KafkaUtils.scala:66)
    at org.apache.spark.streaming.kafka.KafkaUtils$.createStream(KafkaUtils.scala:130)
    at org.apache.spark.streaming.kafka.KafkaUtils.createStream(KafkaUtils.scala)
    at datapipeline.SparkConsumer.main(SparkConsumer.java:60)
Caused by: java.lang.ClassNotFoundException: org.apache.spark.internal.Logging
    at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331)

我的pom.xml:

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <groupId>com.iot.app.kafka</groupId>
    <artifactId>iotanalytics</artifactId>
    <!-- <packaging>jar</packaging> -->
    <version>1.0.0</version>
    <name>IoT Kafka Producer</name>


    <dependencies>
        <dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka-clients</artifactId>
            <version>0.10.0.0</version>
        </dependency>


        <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-network-common_2.10 -->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-network-common_2.10</artifactId>
            <version>1.6.3</version>
        </dependency>



        <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-streaming-kafka-0-10_2.11 -->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming-kafka-0-10_2.11</artifactId>
            <version>2.0.0</version>
        </dependency>



        <dependency>
            <groupId>org.apache.avro</groupId>
            <artifactId>avro</artifactId>
            <version>1.8.0</version>
        </dependency>

        <dependency>
            <groupId>com.fasterxml.jackson.core</groupId>
            <artifactId>jackson-databind</artifactId>
            <version>2.8.2</version>
        </dependency>

         <dependency> 
         <groupId>com.fasterxml.jackson.module</groupId>
        <artifactId>jackson-module-scala_2.10</artifactId> 
        <version>2.8.2</version>
         </dependency>

        <dependency>
            <groupId>com.fasterxml.jackson.core</groupId>
            <artifactId>jackson-annotations</artifactId>
            <version>2.8.2</version>
        </dependency>

        <dependency>
            <groupId>com.fasterxml.jackson.core</groupId>
            <artifactId>jackson-core</artifactId>
            <version>2.8.2</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/javax.json/javax.json-api -->
        <dependency>
            <groupId>javax.json</groupId>
            <artifactId>javax.json-api</artifactId>
            <version>1.1</version>
        </dependency>



        <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-streaming_2.11 -->

        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming_2.11</artifactId>
            <version>1.6.3</version>
            <scope>provided</scope>
        </dependency>

        <dependency>
            <groupId>org.glassfish</groupId>
            <artifactId>javax.json</artifactId>
            <version>1.0.4</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-client -->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.2.0</version>
        </dependency>


        <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core_2.11 -->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.11</artifactId>
            <version>1.6.3</version>
            <scope>provided</scope>
        </dependency>




        <dependency>
            <groupId>org.spark-project.spark</groupId>
            <artifactId>unused</artifactId>
            <version>1.0.0</version>
            <scope>provided</scope>
        </dependency>




        <dependency>
            <groupId>log4j</groupId>
            <artifactId>log4j</artifactId>
            <version>1.2.17</version>
        </dependency>


        <!-- <dependency> <groupId>org.scala-lang</groupId> <artifactId>scala-library</artifactId> 
            <version>2.11.8</version> </dependency> -->


        <!-- https://mvnrepository.com/artifact/org.scala-lang/scala-library -->
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>2.11.9</version>
        </dependency>


        <dependency>
            <groupId>com.typesafe.akka</groupId>
            <artifactId>akka-actor_2.11</artifactId>
            <version>2.3.11</version>
        </dependency>


        <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-streaming-kafka-0-8-assembly_2.11 -->
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-streaming-kafka-0-8-assembly_2.11</artifactId>
    <version>2.0.0</version>
</dependency>



        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.10</artifactId>
            <version>1.6.3</version>
        </dependency>

        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.4</version>
            <scope>test</scope>
        </dependency>



    </dependencies>


    <properties>
        <maven.compiler.source>1.8</maven.compiler.source>
        <maven.compiler.target>1.8</maven.compiler.target>

    </properties>

</project>

最佳答案

我以前煮过的 jar 里放着较低版本的 Spark 。那些没有被冲洗掉。
我删除了旧版本的jars，并查看了pom.xml，并确保所有依赖项具有相同的版本并构建了项目。
程序运行成功。这是我的pom.xml

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <groupId>com.iot.app.kafka</groupId>
    <artifactId>DeviceStreaming</artifactId>
    <packaging>jar</packaging>
    <version>1.0.0</version>
    <name>DeviceStreaming</name>


    <dependencies>

        <dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka-clients</artifactId>
            <version>0.9.0.0</version>
        </dependency>

        <!-- <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-network-common_2.11</artifactId> 
            <version>2.1.0</version> </dependency> -->


        <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-network-common_2.11 -->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-network-common_2.11</artifactId>
            <version>1.6.3</version>
        </dependency>


        <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-streaming-kafka_2.11 -->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming-kafka_2.11</artifactId>
            <version>1.6.3</version>
        </dependency>





        <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-streaming_2.11 -->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming_2.11</artifactId>
            <version>1.6.3</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-sql_2.10 -->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.11</artifactId>
            <version>1.6.3</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.glassfish/javax.json -->
        <dependency>
             <groupId>org.glassfish</groupId>
             <artifactId>javax.json</artifactId>
             <version>1.0.4</version>
        </dependency>


        <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-client -->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.2.0</version>
        </dependency>


        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.11</artifactId>
            <version>1.6.3</version>
        </dependency>


        <dependency>
            <groupId>org.spark-project.spark</groupId>
            <artifactId>unused</artifactId>
            <version>1.0.0</version>
            <scope>provided</scope>
        </dependency>



        <!-- https://mvnrepository.com/artifact/javax.json/javax.json-api -->
        <dependency>
            <groupId>javax.json</groupId>
            <artifactId>javax.json-api</artifactId>
            <version>1.1</version>
        </dependency>








        <dependency>
            <groupId>log4j</groupId>
            <artifactId>log4j</artifactId>
            <version>1.2.17</version>
        </dependency>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.12</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/com.google.guava/guava -->
        <dependency>
            <groupId>com.google.guava</groupId>
            <artifactId>guava</artifactId>
            <version>14.0.1</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/org.onosproject/onos-api -->
        <dependency>
            <groupId>org.onosproject</groupId>
            <artifactId>onos-api</artifactId>
            <version>1.6.0</version>
        </dependency>



        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>2.11.0</version>
        </dependency>




        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming-kafka-0-8-assembly_2.11</artifactId>
            <version>2.0.0</version>
        </dependency>

        <dependency>
             <groupId>org.apache.avro</groupId>
             <artifactId>avro</artifactId>
             <version>1.8.0</version>
        </dependency>

        <dependency>
            <groupId>com.twitter</groupId>
            <artifactId>bijection-avro_2.10</artifactId>
            <version>0.9.2</version>
        </dependency>

        <!-- https://mvnrepository.com/artifact/com.googlecode.json-simple/json-simple -->
<dependency>
    <groupId>com.googlecode.json-simple</groupId>
    <artifactId>json-simple</artifactId>
    <version>1.1</version>
</dependency>


    </dependencies>


    <properties>
        <maven.compiler.source>1.8</maven.compiler.source>
        <maven.compiler.target>1.8</maven.compiler.target>

    </properties>


</project>

关于java - 线程 “main” java.lang.NoClassDefFoundError中的异常:org/apache/spark/internal/Logging，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/45631176/

文章推荐： hadoop - Spark 不读hive-site.xml吗？

文章推荐： hadoop - 删除Pig中的空行

文章推荐： hadoop - 如何安装Hive For Windows？

文章推荐： sql - 客户位置与 hive 中POI之间的距离

c++ - 在Visual Studio Code中，为什么它会在类之外自动创建 “main::main and main::~main”？
因此，当使用“智能”时，当我想创建一个类时，它还会创建另外两个函数(不确定我是否正确调用了它们): class main { private: /* data */ public: m
java - main 存储在哪里并且 main 是一个关键字？我知道 main() 是一种方法，但我问的是 "main"
我确实知道 C/C++ 和 Java 中使用的 main() 方法，但由于 main() 是用户定义的(因为 main() 中的代码是由用户定义的，它不能是预定义的方法) & 在 C/C++ 中，ma
Java:(错误)线程 "main"java.lang.NullPointerException 中的异常 Main.main(Main.java:14)
这个问题在这里已经有了答案: What is a NullPointerException, and how do I fix it? (12 个答案) 关闭 7 年前。我意识到这是一个常见错误，
javascript - 3 不同的 Main-Div，当点击另一个 main-div 时将显示在 main-div 内并关闭 main div
您好，我是 jquery 和 javascript 的新手。我想做的是我有 3 个独立的 Main-Divs ex main-div1, main-div2, main-div-3 它们都是一个大盒子
java - 对错误 :Exception in thread "main" java. lang.ArrayIndexOutOfBoundsException : 0 at Main. main(Main.java:25) 感到困惑
我知道以前曾有人问过有关此错误的问题，但我的情况与其他人不同。我正在编写计算数据集的平均值、方差和标准差的代码。编译代码时我没有收到任何错误，但是当我尝试运行代码时，我收到如下错误: Exceptio
c - : main(){}, int main(){} 和 int main(void){} 有什么区别
这个问题已经有答案了: What should main() return in C and C++? (19 个回答) Why is the type of the main function in
java - Main.main 线程 "main"java.lang.NegativeArraySizeException 中出现异常
无效的输入流不起作用 - 每次我给出负的月份值时，它都会返回此异常。代码: import java.util.Scanner; public class Main { public stat
c - main() 递归调用 main() - gdb 回溯不显示多个 main() 帧 - 为什么？
我在 main() 中调用 main()，递归 10 次。现在，在使用 gdb (bt/backtrace) 进行调试时，我没有看到 main() 的多个帧。为什么？ #include int mai
java - 有一个只有 main 的类。我应该创建一个对象并调用 obj.Main() 还是 ClassObj.Main()？
我有一个类 - A - 没有方法，只有主要方法。在其他类(class) - B - 我需要调用那个 main.做什么最好？从使用的资源、时间和功耗以及效率来看？从类 A 创建一个“a”对象并执行
main - 改变参数在传递给子 MAIN 之前的处理方式
鉴于 documentation以及对 earlier question 的评论，根据要求，我制作了一个最小的可重现示例，演示了这两个语句之间的区别: my %*SUB-MAIN-OPTS = :na
main 中声明的函数可以访问 main 中声明的变量吗？
我有一个在 main 中声明并初始化的数组，名为 Edges。我还在 main 中声明了一些访问名为 Edges 的数组的函数。代码编译并运行。为什么它有效？我认为 main 中声明的变量不是全
html -
元素上是否需要角色 ="main"？
如果定义内容主要部分的最具语义性和可访问性的方式是标准，那么使用 ARIA 地标似乎是多余的元素。正在添加 role="main"到元素真的有必要吗？最佳答案并非所有现代浏览器都已经映射了 ari
c - main.o :main. c:function main: 错误:未定义对 'variable_name' 的引用
我是 C 语言的新手(6 小时前开始)，我知道有大量的在线引用资料，我应该(并且将会)详细查看，但现在，我有紧急情况需要帮助。我有一个包含以下文件的项目文件夹: boundary_val.c boun
java - 如何在此 ubuntu 终端命令 : "javac Main.java && java Main"? 中仅引用 Main 一次
我正在审查许多不同的 Java 程序，并试图弄清楚如何只更新一次而不是两次更新对程序名称的引用。有没有办法在单个终端命令中使用变量？ :S 我试图改进的命令是这样的形式: javac Main.jav
java - Thread[main,5,main] 和 Thread[Thread-77416,5,main] 有什么区别
我已经创建了一个工作线程， Thread thread= new Thread(runnable); thread.start(); 我在工作线程中打印这个； Log.d("SessionTh
java - 错误找不到符号 Main();第 20 行符号 : Method Main() Location class Main 1 error
import java.awt.*; import java.awt.event.*; import java.io.*; import java.lang.*; public class Main
Java - 我有一个 .get() 实例，但它在 Server.Main.main(Main.java :18)) 处给出错误 java.lang.NullPointerException
这是我的 Main.java，它位于服务器套接字“get().logger().tag();”之后的部分我已经在实例中添加了所有这些，我真的不确定它出了什么问题。 public class Main
java - 在类 ActivityTime 中找不到 Main 方法，请将 main 方法定义为 : public static void main(String[] args)
我在 http://www.hackerearth.com/problem/algorithm/roys-life-cycle/ 上测试了我的程序。但是，我总是收到错误:在类 ActivityTime
main - 我可以捕获 RUN-MAIN 中使用的例程的返回值吗？
我想要一个脚本来运行从模块导出的子例程，导出的子程序在脚本中作为 MAIN 运行。该子例程做了我想做的所有事情，除了它返回结果而不是打印它。 RUN-MAIN 似乎实现了我的大部分目标，但我不确定如何
java - 为什么java中的main方法应该是小写字母(main)而不是大写字母(Main)？
java中有什么具体原因吗，main方法应该是小写字母是的“主要”和“主要” 编译完成 public class ManiMethod { public static void main(S

行者123

个人简介

我是一名优秀的程序员,十分优秀！

作者热门文章

滴滴打车优惠券免费领取

全站热门文章

首页

博学

6Ren·AI

商城

java - 线程 “main” java.lang.NoClassDefFoundError中的异常:org/apache/spark/internal/Logging