scala - 关于 Spark 的 rdd.map(_.swap)

Question

我是 Scala 和 Spark 的新手。谁能解释一下是什么意思

rdd.map(_.swap)

?如果我查看 Scala/Spark API，我找不到 swap 作为 RDD 类中的方法。

Answer 1

swap 是 Scala 上的一个方法 Tuples 。它将 Tuple2(或对)的第一个和第二个元素相互交换。例如:

scala> val pair = ("a","b")
pair: (String, String) = (a,b)

scala> val swapped = pair.swap
swapped: (String, String) = (b,a)

RDD 的 map 函数将给定的函数应用于 RDD 的每个元素。在这种情况下，应用于每个元素的函数很简单

_.swap

在这种情况下，下划线是 Scala 中编写匿名函数时的简写，它与传入函数的参数有关，但没有命名。所以上面的代码片段可以重写为:

rdd.map{ pair => pair.swap }

因此，您发布的代码片段交换了 RDD 每一行中元组/对的第一个和第二个元素。