gpt4 book ai didi

scala - 使用 SparkSession 或 sqlcontext 时出错

转载 作者:行者123 更新时间:2023-12-05 00:51:38 28 4
gpt4 key购买 nike

我是新来的 Spark 。我只是想使用 sparksession 或 sqlcontext 解析一个 json 文件。
但是每当我运行它们时,我都会收到以下错误。

Exception in thread "main" java.lang.NoSuchMethodError:
org.apache.spark.internal.config.package$.CATALOG_IMPLEMENTATION()Lorg/apache/spark/internal/config/ConfigEntry; at
org.apache.spark.sql.SparkSession$.org$apache$spark$sql$SparkSession$$sessionStateClassName(SparkSession.scala:930) at
org.apache.spark.sql.SparkSession.sessionState$lzycompute(SparkSession.scala:112) at
org.apache.spark.sql.SparkSession.sessionState(SparkSession.scala:110) at
org.apache.spark.sql.DataFrameReader.<init>(DataFrameReader.scala:535) at
org.apache.spark.sql.SparkSession.read(SparkSession.scala:595) at
org.apache.spark.sql.SQLContext.read(SQLContext.scala:504) at
joinAssetsAndAd$.main(joinAssetsAndAd.scala:21) at
joinAssetsAndAd.main(joinAssetsAndAd.scala)

到目前为止,我在 eclipse IDE 中创建了一个 scala 项目并将其配置为 Maven 项目并添加了 spark 和 sql 依赖项。

我的依赖:

<dependencies>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.11</artifactId>
<version>2.1.0</version>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-sql_2.11</artifactId>
<version>2.0.0</version>
</dependency>
</dependencies>

您能否解释一下为什么我会收到此错误以及如何纠正它们?

最佳答案

尝试对 spark-core 和 spark-sql 使用相同的版本。将 spark-sql 的版本更改为 2.1.0

关于scala - 使用 SparkSession 或 sqlcontext 时出错,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/43181540/

28 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com