java - 在 Scala 中将 RDD 映射到 PairRDD

Question

我正在尝试将 RDD 映射到 Scala 中的 pairRDD，以便稍后可以使用 reduceByKey。这是我所做的:

userRecords 属于 org.apache.spark.rdd.RDD[UserElement]

我尝试从 userRecords 创建一个 pairRDD，如下所示:

val userPairs: PairRDDFunctions[String, UserElement] = userRecords.map { t =>
  val nameKey: String = t.getName()
  (nameKey, t)
}

但是，我得到了错误:

类型不匹配；发现:org.apache.spark.rdd.RDD[(String, com.mypackage.UserElement)] 必需:org.apache.spark.rdd.PairRDDFunctions[String,com.mypackage.UserElement]

我在这里错过了什么？非常感谢!

Answer 1

您不需要这样做，因为它是通过 implicits 完成的(显式 rddToPairRDDFunctions)。任何类型为 Tuple2[K,V] 的 RDD 都可以自动用作 PairRDDFunctions。如果你真的想要，你可以显式地做 implicit 做的事情，并将 RDD 包装在 PairRDDFunction 中:

val pair = new PairRDDFunctions(rdd)