gpt4 book ai didi

apache-spark - 在 spark 2.3.2 中,调用 Dataset.count() 时出现 java.lang.ClassCastException

转载 作者:行者123 更新时间:2023-12-04 12:25:42 29 4
gpt4 key购买 nike

我正在阅读数据集和 printing schema .有效。
当我试图找到 dataset count 时, 我收到 ClassCastException
作为
java.lang.ClassCastException: org.apache.hadoop.fs.FsUrlConnection cannot be cast to java.net.HttpURLConnection
虽然相同的代码适用于 Mac OS。
运行Linux_4.14.48的cloud vm抛出异常

请让我知道是否有修复。有关于修复的主题讨论
Hadoop-14598但那是针对旧版本的,我认为 Spark 2.3.2 可能已经有了那个补丁。

虽然没有太多代码行并将其粘贴在下面。调用 df.count() 时发生错误
val df = spark.read.format("own.format.dataset").load(sys.env("DATASET_ID"))
val count = df.count()

最佳答案

我只是在这个确切的问题上挣扎。我能够通过覆盖 hadoop-client 来修复它版本( spark-core 使用 hadoop-client 2.6.5)。我在 build.sbt 中添加了以下内容:

dependencyOverrides += "org.apache.hadoop" % "hadoop-client" % "2.9.2"

关于apache-spark - 在 spark 2.3.2 中,调用 Dataset.count() 时出现 java.lang.ClassCastException,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/52748677/

29 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com