scala - 如何分组并连接 Dataframe Spark Scala 中的列表

Question

我有一个包含两列数据的数据框，如下所示

+----+-----------------+
|acct|           device|
+----+-----------------+
|   B|       List(3, 4)|
|   C|       List(3, 5)|
|   A|       List(2, 6)|
|   B|List(3, 11, 4, 9)|
|   C|       List(5, 6)|
|   A|List(2, 10, 7, 6)|
+----+-----------------+

我需要如下结果

+----+-----------------+
|acct|           device|
+----+-----------------+
|   B|List(3, 4, 11, 9)|
|   C|    List(3, 5, 6)|
|   A|List(2, 6, 7, 10)|
+----+-----------------+

我试过如下，但似乎不起作用
df.groupBy("acct").agg(concat("device")) df.groupBy("acct").agg(collect_set("device"))
请让我知道如何使用 Scala 实现这一目标？

Answer 1

您可以从爆炸 device 开始列并像您一样继续 - 但请注意，它可能不会保留列表的顺序(无论如何在任何组中都不能保证):

val result = df.withColumn("device", explode($"device"))
  .groupBy("acct")
  .agg(collect_set("device"))

result.show(truncate = false)
// +----+-------------------+
// |acct|collect_set(device)|
// +----+-------------------+
// |B   |[9, 3, 4, 11]      |
// |C   |[5, 6, 3]          |
// |A   |[2, 6, 10, 7]      |
// +----+-------------------+