apache-spark - 如何在 Spark RDD 中按多个键进行分组？

Question

想象我有一个三胞胎:

val RecordRDD : RDD[Int, String, Int] = {

                (5 , "x1", 100),
                (3 , "x2", 200),
                (3 , "x4", 300),
                (5 , "x1", 150),
                (3 , "x2", 160),
                (5 , "x1", 400)
  }

如何有效地将它们按前两个元素分组并按第三个元素排序？例如制作:

                [5 , [  "x1" -> [100, 150, 400]  ]
                [3 , [   ["x2" -> [160, 200]],   ["x4" -> [300]]    ]

我正在寻找一种有效的方法。

我应该将其设为 DataFrame 并使用 GroupBy(Col1,Col2) 和 SortBy(Col3) 吗？

这样会比Spark RDD的groupBy效率更高吗？

AggregateByKey 可以同时聚合 2 个键吗？

*你可以假设这个 RDD 非常大!提前致谢。

Answer 1

您没有提及您正在运行哪个版本的 Spark，但使用 RDD 执行此操作的一种方法如下:

val result = RecordRDD
  .map{case(x, y, z) => ((x,y), List(z))}
  .reduceByKey(_++_)
  .map{case(key, list) => (key._1, Map((key._2 -> list.sorted)))}
  .reduceByKey(_++_)

我不知道这是否是最有效的方法，但它非常有效;)