apache-spark - 如何反转 RDD.takeOrdered() 的顺序？

Question

Spark 中 RDD 的 takeOrdered() 方法反转顺序的语法是什么？

为了奖励积分，Spark 中 RDD 的自定义排序语法是什么？

Answer 1

颠倒顺序

val seq = Seq(3,9,2,3,5,4)
val rdd = sc.parallelize(seq,2)
rdd.takeOrdered(2)(Ordering[Int].reverse)

结果将为数组(9,5)

自定义订单

我们将按年龄对人员进行排序。

case class Person(name:String, age:Int)
val people = Array(Person("bob", 30), Person("ann", 32), Person("carl", 19))
val rdd = sc.parallelize(people,2)
rdd.takeOrdered(1)(Ordering[Int].reverse.on(x=>x.age))

结果将为 Array(Person(ann,32))