gpt4 book ai didi

java - 使用 Spark SQL 时找不到获取 Spark Logging 类

转载 作者:搜寻专家 更新时间:2023-10-31 20:32:30 24 4
gpt4 key购买 nike

我正在尝试用 Java 进行简单的 Spark SQL 编程。在程序中,我从 Cassandra 表中获取数据,将 RDD 转换为 Dataset 并显示数据。当我运行 spark-submit 命令时,出现错误:java.lang.ClassNotFoundException: org.apache.spark.internal.Logging

我的程序是:

SparkConf sparkConf = new SparkConf().setAppName("DataFrameTest")
.set("spark.cassandra.connection.host", "abc")
.set("spark.cassandra.auth.username", "def")
.set("spark.cassandra.auth.password", "ghi");
SparkContext sparkContext = new SparkContext(sparkConf);
JavaRDD<EventLog> logsRDD = javaFunctions(sparkContext).cassandraTable("test", "log",
mapRowTo(Log.class));
SparkSession sparkSession = SparkSession.builder().appName("Java Spark SQL").getOrCreate();
Dataset<Row> logsDF = sparkSession.createDataFrame(logsRDD, Log.class);
logsDF.show();

我的 POM 依赖项是:

<dependencies>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.11</artifactId>
<version>2.0.2</version>
<scope>provided</scope>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-streaming_2.11</artifactId>
<version>2.0.2</version>
<scope>provided</scope>
</dependency>
<dependency>
<groupId>com.datastax.spark</groupId>
<artifactId>spark-cassandra-connector_2.11</artifactId>
<version>1.6.3</version>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-sql_2.11</artifactId>
<version>2.0.2</version>
</dependency>
</dependencies>

我的 spark-submit 命令是:/home/ubuntu/spark-2.0.2-bin-hadoop2.7/bin/spark-submit --class "com.jtv. spark.dataframes.App"--master local[4] spark.dataframes-0.1-jar-with-dependencies.jar

如何解决这个错误?降级到 1.5.2 不起作用,因为 1.5.2 没有 org.apache.spark.sql.Datasetorg .apache.spark.sql.SparkSession.

最佳答案

这可能是您的 IDE 的问题。由于创建了其中一些包和 Scala Java 项目,有时 IDE 无法理解正在发生的事情。我正在使用 Intellij,它一直向我显示此消息。但是,当我尝试运行“mvn test”或“mvn package”时,一切都很好。请检查这是否真的是一些包错误或只是丢失了 IDE。

关于java - 使用 Spark SQL 时找不到获取 Spark Logging 类,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/40995462/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com