scala - 订购 RDD[String]

Question

考虑

val animals = List("penguin","ferret","cat").toSeq
val rdd = sc.makeRDD(animals, 1) 

我想订购这个 RDD。我是 Scala 的新手，对如何做到这一点有点困惑。

Answer 1

RDD 文档可以在 here 中找到.看 sortBy :

sortBy[K](
  f: (T) ⇒ K, 
  ascending: Boolean = true, 
  numPartitions: Int = this.partitions.size
)

K是您排序所依据的 RDD 片段的类型。 f是一个函数，你可以用 def 在别处定义它并按名称传递它，或者您可以在线匿名创建一个(更像 Scala)。 ascending和 numPartitions应该是不言自明的。

因此，考虑到所有这些，请尝试:

rdd.sortBy[String]({animal => animal})

然后试试这个:

rdd.sortBy[String]({animal => animal}, false)

然后是这个，它根据动物名称中的字母“e”的数量从最多到最少对 RDD 进行排序:

rdd.sortBy[Int]({a => a.split("").filter(char => char == "e").size}, false)

需要注意的是原版 rdd未排序——操作返回一个新的、排序的 RDD。