scala - 巧妙处理 Spark RDD 中的 Option[T]

Question

我正在使用 Apache Spark 的 Scala API 开发一些代码，我正在尝试巧妙地解决包含一些 Option[T] 的 RDD 之间的基本转换。

假设我们有以下列表

val rdd: RDD[(A, Option[B])] = // Initialization stuff

我们想对 rdd 进行转换以获得以下内容

val transformed: RDD[(B, A)]

对于所有评估为 Some[B] 的 Option[B]。我发现执行此操作的最佳方法是应用以下转换链:

val transformed = 
  rdd.filter(_.isDefined)
     .map { case (a, Some(b)) => (b, a) }

我知道如果我使用简单的 Scala List，我可以使用 collect 方法:

val transformed = list.collect {
  case (a, Some(b)) => (b, a)
}

如 this 中所述所以我的问题。

改用 Spark RDD，我有哪一种选择？？

Answer 1

你可以使用flatMap:

rdd.flatMap {
   case (a, Some(b)) => Some(b, a)
   case _ => None
}