gpt4 book ai didi

scala - Spark on AWS EMR : java. lang.NoSuchMethodError : scala. Product.$init$(Lscala/Product;)V

转载 作者:行者123 更新时间:2023-12-01 12:05:02 25 4
gpt4 key购买 nike

我正在尝试将 Scala 2.12.0 + Spark 2.4.4 应用程序部署到 AWS EMR。
我在 EMR 中启用了 Spark 2.4.4。

当应用程序运行时,它失败并显示以下错误:

java.lang.NoSuchMethodError: scala.Product.$init$(Lscala/Product;)V

我正在使用“sbt-assembly”插件构建 jar。我专门从组装的 jar 中删除了“org/apache/spark/”,以确保版本没有冲突。

最佳答案

虽然 Spark 2.4.4 据称支持 Scala 2.12.x,但 EMR 似乎不支持它。

相反,必须使用 Scala 2.11 进行构建。

例如。在 build.sbt 文件中:

scalaVersion := "2.11.12"

关于scala - Spark on AWS EMR : java. lang.NoSuchMethodError : scala. Product.$init$(Lscala/Product;)V,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/58234377/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com