scala - 当左侧键为 Option[] 时，Spark left outer join

Question

我有

val rdd1 :  RDD[(Option[String], (String, Option[Context]))]

和

val rdd2 : RDD[(String,Double)]

现在，我想 rdd1.leftOuterJoin(rdd2) 但我当然不能，因为 Option[String] 不同于 String.

加入操作的基本原理是万一 rdd1 的键包含一些值，我想获得关于它的附加信息。所需的输出类型为:RDD[(Options[String],((String, Option[Context]),Option[Double]))

旁路是什么？

Answer 1

您可以简单地将 rdd2 映射到 RDD[(Option[String], Double)]:

rdd1.leftOuterJoin(rdd2.map{case (k, v) => (Option(k), v)})

如果 Context 可以使用 Spark SQL 类型表示，那么您可以简单地将两个 RDD 转换为 DataFrames 并加入。 None 被映射到 NULLs 所以一切都应该按预期工作。