scala - Apache Spark : java. lang.NoSuchMethodError .rddToPairRDDFunctions

Question

sbt package运行良好，但在 spark-submit 之后我收到错误:

Exception in thread "main" java.lang.NoSuchMethodError: org.apache.spark.SparkContext$.rddToPairRDDFunctions(Lorg/apache/spark/rdd/RDD;Lscala/reflect/ClassTag;Lscala/reflect/ClassTag;Lscala/math/Ordering;)Lorg/apache/spark/rdd/PairRDDFunctions; at SmokeStack$.main(SmokeStack.scala:46) at SmokeStack.main(SmokeStack.scala) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:736) at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:185) at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:210) at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:124) at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

这是违规行:

val sigCounts = rowData.map(row => (row("Signature"), 1)).countByKey()

rowData是一个 RDD Map[String, String]。 “签名”键存在于 map 中的所有项目中。

我怀疑这可能是构建问题。下面是我的 sbt 文件:

name := "Example1"
version := "0.1"
scalaVersion := "2.11.8"

libraryDependencies += "org.apache.spark" %% "spark-core" % "1.2.0"
scalacOptions ++= Seq("-feature")

我是 Scala 的新手，所以也许导入不正确？我有:

import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import scala.io.Source

Answer 1

java.lang.NoSuchMethodError通常表示编译代码的版本高于运行时使用的库的版本。

对于 Spark，这意味着用于编译的 Spark 版本与部署(在机器或集群上)的版本不同。

在开发和运行时之间调整版本应该可以解决这个问题。